这是一个创建于 2308 天前的主题，其中的信息可能已经有所发展或是发生改变。
不局限于语言
第 1 条附言 · 2018-08-25 10:30:35 +08:00
更准确的表述应该为 "天生支持增量更新的爬虫框架有哪些？"
 |
1
chen2016 2018-08-25 07:47:42 +08:00 via Android  1
我想知道天生赚钱的体质是什么，不局限于我爹是谁
|
 |
2
loading 2018-08-25 08:17:31 +08:00 via iPhone
幽灵蛛不知行不行。
|
 |
3
qsnow6 2018-08-25 09:30:09 +08:00
SCRAPY
|
 |
4
helloiac 2018-08-25 10:04:46 +08:00
啥叫增量更新？
|
 |
5
glacer 2018-08-25 12:00:24 +08:00 via iPhone
增量更新实际上就是重爬，通过对 url 或某个字段的值进行排重，新增或变化即入库，否则忽略。
|
Select Language