@benjiam 我觉得没有必要，pyspider是人工写模板的，而不是说页面上所有的链接都需要去检测一次是否在库中。实际上只有列表页有这样的检测。

再加上需要做按照时间判断是否重抓取的检测，bloomfilter 是不够的，还是得查库。

@baskice 其实是反过来，原来是被人工强制设置为了 wiki.moegirl.org 然后让人把规则下了。现在是真的抓到了 wiki.moegirl.org ...

@benjiam 本来就是靠 taskid，taskid是定长的，来区别的啊
@fly51fly 你什么环境？

人家早说要关了，强行今天

@wh1100717 我就试试我的爬虫，一个晚上做的，我也懒得完善

@baskice 好过吗？

@crossmaya 我没有windows，前面有人报过issue，然后可以了啊

@ThomasHuang 就是重启。。只用过http，不会动态调权，只会自动重试。

这个完全没有为 review 做过优化啊，github 代码行内评论的什么，不一定最好，至少比论坛看起来舒服。

@baskice 原来好过一段时间吗？貌似这次不是人工规则，而是13号貌似有一次成功抓取。

HN 上有人提出要测性能。。于是。。
多线程下 5700 pages/min，作为对比 scrapy bench 4800 pages/min
多进程都不想欺负它了。。

PS：我用了无限制消息队列，流量直接往下一个模块上压。。由于不清楚 scrapy 的实现其实结果不好说。。
https://gist.github.com/binux/67b276c51e988f8e2c31

床给你，妹纸和那只猫留给我

@shoumu 能说的就是blog写的那些了。。