第一次见,robots 还真的把百度给挡了

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1831 天前的主题，其中的信息可能已经有所发展或是发生改变。

https://s2.ax1x.com/2019/11/13/MG2jNq.png

hi-pda

hi-pda

robots

百度

真的

14 条回复 • 2019-11-14 11:02:58 +08:00

shansing

2019-11-13 15:11:29 +08:00

原则上如果真的给挡了，百度甚至就不该显示这条索引结果。个人认为这还是在打擦边球，你看隔壁就清新很多：

> 一些其他的搜索引擎有时会利用 anchor 等信息，对特定被禁止抓取的路径（如首页），生成和 nosnippet 等同效果的展现，但我们会慎重处理这种灰色地带的行为。

pi1ot

2019-11-13 15:19:45 +08:00

@shansing

www.hi-pad.com/robots.txt
User-agent: *
Disallow:/app/
Disallow:/admin/
Disallow:/Framework/
Disallow:/Public/
Disallow:/Upload/

并没有禁止全站抓取

pi1ot

2019-11-13 15:21:59 +08:00

不好意思打错域名了，确实禁止了全站抓取

http://www.hi-pda.com/robots.txt
User-agent: *
Disallow: /

shansing

2019-11-13 15:22:58 +08:00

@pi1ot 唔，你域名打错了。请看 https://www.hi-pda.com/robots.txt

est

2019-11-13 15:29:21 +08:00

http://blog.est.im/robots.txt 这么巧。我也屏蔽了。BIDU

TomatoYuyuko

2019-11-13 15:33:29 +08:00

有很多啊,今天查菜鸟裹裹,发现他们官网就是限制了

nicoljiang

2019-11-13 16:38:39 +08:00

天猫的不就挡住了么？

yaoye555

2019-11-13 16:54:27 +08:00

@nicoljiang 以前用百度没发现, 刚刚去搜了几个关键词确实都被挡了

zdnyp

2019-11-13 17:43:26 +08:00

你见过百度搜索结果里有淘宝宝贝？...

Orciorc

2019-11-13 20:23:21 +08:00 via Android

这个，没有哪个大搜索引擎不遵守吧，毕竟会碰上法律责任的。

chtan

2019-11-13 20:26:31 +08:00 via iPhone

https://i.loli.net/2019/11/13/S3esKgMIcjHYbkv.jpg 看了下自己的博客

lovestudykid

2019-11-13 21:48:38 +08:00 via iPhone

@shansing 隔壁的 Google 行为跟百度一样
ImageHi!PDA › forum
Web results
HiPda
No information is available for this page.
Learn why

auchan

2019-11-14 10:47:52 +08:00

@shansing google 一样可以搜索到的，搜出来的样子和百度的差不多

shansing

2019-11-14 11:02:58 +08:00

@lovestudykid
@auchan
我说的隔壁是 Magi 啦（逃