V2EX › ChiChou 的所有回复 › 第 3 页 / 共 14 页

跟进每一个链接再抓全部的内容。下面是爬乌云漏洞的例子，仅供参考

```python
import re

from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.http import Request

RE_VULID = r'\-(\d+\-\d+)'

class WooyunSpider(CrawlSpider):
name = 'wooyun'
allowed_domains = ['www.wooyun.org']
start_urls = ['http://www.wooyun.org/bugs/new_public/page/1']
rules = (
Rule(LinkExtractor(allow=(r'\/bugs\/new_public\/page\/\d+', ), )),
Rule(LinkExtractor(allow=(r'\/bugs\/wooyun\-\d+\-\d+', )), callback='parse_vul'),
)

def __init__(self, *args, **kwarg):
super(WooyunSpider, self).__init__(*args, **kwarg)
self.finished = set()

def make_requests_from_url(self, url):
match = re.findall(RE_VULID, url)
if match:
vulid, = match
if vulid in self.finished:
return
else:
self.finished.add(vulid)

return Request(url, dont_filter=False)

def parse_vul(self, response):
item = {key: ''.join([text.strip() for text in extracted]) for key, extracted in {
'title': response.css('h3.wybug_title::text').re(ur'\t\t(\S+)'),
'vulid': response.xpath('//h3/a[starts-with(@href,"/bugs/wooyun")]/@href').re(RE_VULID),
'vendor': response.css('h3.wybug_corp a::text').extract(),
'author': response.css('h3.wybug_author a::text').extract(),
'submitted': response.css('h3.wybug_date::text').re('\t\t(\d+\-\d+\-\d+\s+\d+:\d+)'),
'published': response.css('h3.wybug_open_date::text').re('\t\t(\d+\-\d+\-\d+\s+\d+:\d+)'),
'detail': response.css('.wybug_detail').xpath('./node()').extract(),
'patch': response.css('.wybug_patch .detail').xpath('./node()').extract(),
'rank': response.css('.bug_result .detail').re(r'Rank[\s\S]?(\d*)'),
'description': response.css('p.detail.wybug_description::text').extract(),
'vultype': response.css('h3.wybug_type::text').re('\t\t(\S+)'),
'level': response.css('.bug_result .detailTitle + p.detail::text').re(ur'\uff1a(\S+)'),
}.iteritems()}

yield item
```

2016-04-20 23:31:30 +08:00

回复了 4179e1 创建的主题 › Python › Python 怎么做强制类型转换？

struct.unpack

https://docs.python.org/2/library/struct.html

2016-04-20 18:35:05 +08:00

回复了 yurivvvvv 创建的主题 › Node.js › 命令行浏览目录下的所有图片

这标题让人误以为在终端里输出的图

2016-04-20 18:33:15 +08:00

回复了 ChiChou 创建的主题 › Node.js › 抓取 TCP 端口 banner，支持 tls

@Phant0m 我已经吐槽了 zgrab 的问题才自己写的哦

2016-03-30 19:03:28 +08:00

回复了 Threezj 创建的主题 › 编辑器 › 想知道如 vim 这类编辑器有什么用？好端端的为什么不用 ide？

@ivenvd IntelliJ IDEA 啊哈哈哈哈哈

2016-03-28 09:30:50 +08:00

回复了 lylover 创建的主题 › PHP › 如何快速的执行 telnet 命令

不现实。即使在后台维护一个活动的 telnet 会话， telnet 服务端会因为长时间没有交互而主动断开（除非不停的输入命令当“心跳”）

2016-03-25 23:01:25 +08:00

回复了 DeanThompson 创建的主题 › Go 编程语言 › zhihu-go：知乎非官方 API 库 with Go

知乎 ::doge::

2016-03-10 21:11:22 +08:00

回复了 kawaiiushio 创建的主题 › NGINX › ubuntu 14.04 + nginx 1.9.2 无法开启 http/2

http://nginx.org/en/docs/http/ngx_http_v2_module.html

This module is not built by default, it should be enabled with the --with-http_v2_module configuration parameter.

默认没有这个模块，需要在构建 nginx 的时候加参数。

2016-03-10 20:10:42 +08:00

回复了 hoythan 创建的主题 › 程序员 › 有人可以帮我看看这个被挂马的 PHP 怎么解析出内容吗？

@yangqi 楼主贴的代码看上去都不完整啊，你怎么拿到 eval 的内容的？

2016-03-10 20:09:53 +08:00

回复了 hoythan 创建的主题 › 程序员 › 有人可以帮我看看这个被挂马的 PHP 怎么解析出内容吗？

@hoythan 是个 SMTP 发邮件的库

2016-03-07 17:46:22 +08:00

回复了 codespots 创建的主题 › JavaScript › JavaScript 算法初探——数组去重

我也想吐槽 JSON 这个说法

2016-02-29 19:54:27 +08:00

回复了 loading 创建的主题 › Node.js › 使用 Eletron 或者 nw.js 代码保密性就和前端一样？

@loading 好神奇的需求