怎么判断爬虫已经将网站的数据完整的爬取下来了

[diffworld]

scrapy 新手，想到一个问题，比如京东有很多商品，不能确定它们的总数，所以即使爬回来很多数据，怎么判断是否已经把所有的商品都爬取到了

如果不能判断，应该采取什么方法尽可能多的爬数据

crawlspider 可以做整站爬取，但是是不是真的能够取尽所有的 url ？

跪求大神解答

[nine99]

没有通用的方法，得看你爬的思路

[tozp]

只要思路是正确的，爬虫 finish 的时候就爬完了。

[rootx]

自己想

[shangfabao]

自己判断

[icy37785]

木有通用方法