从这个文件中能分析出什么，比如 BA,比如 V2EX ?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3472 天前的主题，其中的信息可能已经有所发展或是发生改变。

https://www.baidu.com/robots.txt
https://www.v2ex.com/robots.txt
http://www.taobao.com/robots.txt

＂User-agent: Baiduspider
Disallow: /

User-agent: baiduspider
Disallow: /＂是指不让百度给爬吗？

这样子指定 User-agent ，这么多爬虫？
User-agent: Baiduspider-image
User-agent: Googlebot
User-agent: YoudaoBot
User-agent: Sogou web spider
User-agent: Sogou inst spider
User-agent: Sogou spider2
User-agent: ChinasoSpider

update

补上相关链接　从robots.txt能看出什么？

v2 的没列～～

user

sogou

spider

9 条回复 • 2015-05-19 23:53:48 +08:00

exuxu

2015-05-18 18:22:14 +08:00

附上一个问题，新闻网址的源都是一个地方发了，然后其它网站都是从这个地方抓过来的么....

wy315700

2015-05-18 18:26:19 +08:00

08年淘宝就不允许百度去抓取了

ryd994

2015-05-18 21:11:05 +08:00 via Android

@exuxu 人民新华环球

fengyqf

2015-05-18 23:04:34 +08:00

看看有没有哪个二货，把网站管理后台地址放到robotx.txt里，然后你就有地方玩爆破了

exuxu

2015-05-19 00:00:39 +08:00 via Android

@ryd994 gov的媒体额

@fengyqf 嗯，我发的那个链接里面有提到这个

decken

2015-05-19 00:17:26 +08:00 via Android

@fengyqf WordPress默认不就是这样吗？

ryd994

2015-05-19 00:42:43 +08:00 via Android

@exuxu 其他地方发的不叫新闻叫谣言

exuxu

2015-05-19 08:45:34 +08:00

@ryd994 　ＴＡＴ

fengyqf

2015-05-19 23:53:48 +08:00

@decken 这种开源的软件可以不算在内，默认的地址懂的人都知道