问一个数据处理的技巧，定时采集一个页面上的链接，怎么比对、记录第二次采集发生的新增、减少？
qinrui · 2019-03-27 18:46:51 +08:00 via iPhone · 1061 次点击这是一个创建于 2066 天前的主题，其中的信息可能已经有所发展或是发生改变。
采集信息包括链接及标题，其中链接有可能增加、减少以及减少之后又恢复，应该怎么进行比对和记录呢？
 |
1
x1596357 2019-03-27 19:11:08 +08:00 via iPhone
一堆 diff 算法，找找吧
|
 |
2
C1tas 2019-03-27 19:50:02 +08:00 via Android
定向采集可以提前所有需要的链接拼接后算 hash 第二次如果 hash 相同就终止
|
Select Language