有爬虫通过浏览器加载页面后储存到本地实现的吗? 性能如何? (本机测只有 3 页/秒)
xuanwu · 2018-09-14 14:29:30 +08:00 · 1090 次点击这是一个创建于 2317 天前的主题，其中的信息可能已经有所发展或是发生改变。
比如这样的 https://github.com/program-in-chinese/ChromeCrawlerWildSpider ?
当时测了大概只有 3 页 /秒, 不管开 10 个还是 80 个 tab. 感觉好处也有, 比如只要浏览器能打开的页面它都能抓.
1
Select Language