这是一个创建于 4462 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近发现自己的某个网站的某些链接被360 spider不断地访问，spider的ip子网主要在182.118.[20-25].0/24 之间，查看了一下robots.txt，明明有disallow所有的spider啊，怎么还在抓？
本来奇虎做搜索，我还在考虑要不要买他们的股票，市场份额我觉得10％跑不掉，股票还有上升空间，虽然我一直以来都不喜欢周红一，但是发现他们完全不遵守robots.txt协议之后，我才理解所谓的没有道德底限原来体现在这些细节上，我只想说，f*** 360 spider, f*** Qihu, f*** 周红一。。。
用老罗的话来结尾吧，“不好意思，我又失态了...”
本来奇虎做搜索，我还在考虑要不要买他们的股票，市场份额我觉得10％跑不掉，股票还有上升空间，虽然我一直以来都不喜欢周红一，但是发现他们完全不遵守robots.txt协议之后，我才理解所谓的没有道德底限原来体现在这些细节上，我只想说，f*** 360 spider, f*** Qihu, f*** 周红一。。。
用老罗的话来结尾吧，“不好意思，我又失态了...”
 |
1
chemhack 2012-10-07 05:56:29 +08:00
robots.txt alone is not enough
|
 |
2
lala OP @chemhack but the spiders are supposed to follow the robots.txt, right? Some spiders, like 360, may ignore the file, and you cannot do anything about that but find out their IPs, and block them.
I would say it is not decent at all to ignore the robots.txt files. That is the very basic principle for a search engine, isn't it? |
|
3
chemhack 2012-10-07 08:22:30 +08:00
@lala 从360的角度，这种行为不会被大众骂，因为一般人连spider是啥都不懂，如果我是流氓周我也这么干。你自己做站的话应该能考虑到这些问题，不光是搜索引擎的spider，还有好多堆垃圾站的人采集器也会来爬。只是ip匹配也是不够的，那个只能事后处理，你要不看log的话就不知道了。javaeye有一套能自动屏蔽爬虫的系统，是利用行为分析来识别的。但是后来那套系统把我党的爬虫给屏蔽了，然后javaeye就被关站了。
|
 |
4
cabbala 2012-10-07 08:26:49 +08:00
robots协议里面水很深，不能多说～～
|
 |
6
ihacku 2012-10-07 22:23:14 +08:00
try this http://perishablepress.com/6g-beta/
|
 |
7
snail2 2012-10-07 23:31:09 +08:00
不能留芳百世也要遗臭万年，很显然 周垃圾做到了。
就象当年他不管3721地给人们装上3721一样，现在我们也是不管3721地排斥一切与这个周垃圾有关的东西，不管是什么，不管质量是怎么样，人品已经在那儿摆着了，我真是不明白为什么还会有投资人给这种人机会，哎，我们out了 |
Select Language