首页 > 201609 > 乌云2016镜像地址项目:Wooyun_public
2016
09-09

乌云2016镜像地址项目:Wooyun_public

乌云公开漏洞、知识库爬虫和搜索 crawl and search for wooyun.org public bug(vulnerability) and drops http://www.wooyun.org

github:wooyun_public

代码打包

wooyun_public

乌云公开漏洞、知识库爬虫和搜索

crawl and search for wooyun.org public bug(vulnerability) and drops

乌云2016镜像地址项目:Wooyun_public - 第1张  | Mr.Long乌云2016镜像地址项目:Wooyun_public - 第2张  | Mr.Long

1.依赖组件

2.爬虫

  • 乌云公开漏洞和知识库的爬虫分别位于目录scrapy/wooyun和scrapy/wooyun_drops
  • 运行scrapy crawl wooyun -a page_max=1 -a local_store=false -a update=false,有三个参数用于控制爬取:

  • 第一次爬取全部内容时,用scrapy crawl wooyun -a page_max=0 -a update=true
  • 平时只爬取最近的更新时,用scrapy crawl wooyun -a page_max=1,可以根据自己的爬取频率和网站更新情况调整page_max的值
  • 全部公开漏洞的列表和每个漏洞的文本内容存在mongodb中,大概约2G内容;如果整站爬全部文本和图片作为离线查询,大概需要10G空间、2小时(10M电信带宽);爬取全部知识库,总共约500M空间。(截止2015年10月)

3.搜索

  • 漏洞搜索使用了Flask作为web server,bootstrap作为前端(8.12增加tornador web server,可配合nginx反向代理,支持高并发的应用)
  • 启动web server :在flask目录下运行./app.py,默认端口是5000
  • 启动Elassticsearch(如果已配置了Elasticsearch):在elasticsearch-2.3.4/bin目录下运行./elasticsearch -d (-d表示以后台方式运行)

  • 搜索:在浏览器通过http://localhost:5000进行搜索漏洞,多个关键字可以用空格分开。
  • 默认使用mongodb的数据库搜索,在进行全文搜索时比较慢,推荐安装使用Elasicsearch搜索引擎。安装和配置Elasicsearch的方法(点我)

4.为mongodb数据库创建索引

5.虚拟机

  • 虚拟机1:在2016年6月底爬的wooyun全部漏洞库和知识库内容,集成了Elasticsearch搜索,总共35G(压缩后约14G),网盘地址为: http://pan.baidu.com/s/1kVtY2rX ,提取密码:5ik7(8.5更新)

    使用方法:

  • 虚拟机2:已打包了一个安装了所有组件和elasticsearch搜索的虚拟机,不包含具体内容,压缩后约2.3G(由于wooyun还处于升级关闭期间,无法进行内容的爬取),网盘地址:http://pan.baidu.com/s/1nvrS3zj,提取密码:2290 (8.5更新)

    使用方法:

6.其它

  • 本程序只用于技术研究和个人使用,程序组件均为开源程序,漏洞和知识库来源于乌云公开漏洞,版权归wooyun.org。
  • 期待雨过天晴、重开wooyun!
赞赏

微信赞赏支付宝赞赏

Smilie Vote is loading.
最后编辑:
作者:Mr.Long
这个作者貌似有点懒,什么都没有留下。

留下一个回复

你的email不会被公开。