想请问下大家，有没有什么方法能判别网站所包含的网站总数

[tohearts]

想对某一个网站较快的方法得出其网站链接总数。

[sleepm]

在谷歌中 site:site.domain
在网页中找 sitemap.xml
找网站所使用的程序，举个例子，比如文章列表页，多少个目录，一页多少个，共多少，累加
得到完全具体的数字数字那是不可能的，自己建的站都不知道多少链接。。。。

[silencefent]

开个爬虫,一级域名通配符一页页抓 url,放 redis 里面用布隆过滤器去重