爬虫如何实现增量爬取？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 外包信息请发到 /go/outsourcing 节点。

• 不要把相同的信息发到不同的节点

这是一个创建于 2773 天前的主题，其中的信息可能已经有所发展或是发生改变。

有一个论坛，每天都有新的帖子发表，我想让爬虫每天只爬取新增的帖子，而不是把已经爬过的帖子都爬取一遍。这种需求该如何实现？求思路。。

4 条回复 • 2018-07-27 09:52:07 +08:00

caiem

2018 年 7 月 27 日 via iPhone

帖子是自增 id 么.增量时读取 max id 就行了嘛

qsnow6

2018 年 7 月 27 日 via iPhone

去爬帖子列表页，每次都把当前页的 url 和数据库中的对比，如果没有重复的说明，这一夜都是新的 URL，然后下一页，直到出现部分重复或完全重复的页面

thedog

2018 年 7 月 27 日 via Android

redis?

fiht

2018 年 7 月 27 日 via iPhone

实现增量一个最简单的办法是每天抓取一下首页链接。