这是一个创建于 2637 天前的主题，其中的信息可能已经有所发展或是发生改变。
搜狗蜘蛛堪比 DDOS 式的抓取，让人感觉到绝望，好好的一个小主机，被搜狗一顿戏虐。各种渠道的反馈基本没什么效果，只能来 V2 发个帖，供大家娱乐一下了。
单个 IP 请求数高了还能限制限制，最可怕的就是一群 IP 同时访问，哈哈哈~ 来点纸巾，我想擦擦眼泪。
 |
1
woshinide300yuan OP  |
 |
2
topbandit 2017-09-04 11:11:37 +08:00
涉 H ？
|
|
3
woshinide300yuan OP @topbandit 不不不不 纯洁小博客！！真的！！
|
|
4
topbandit 2017-09-04 11:14:15 +08:00
系统防火墙封网段即可
|
|
5
woshinide300yuan OP @topbandit 准备着手封 UA 了。有搜索量也不要了，这种婉约派的 DDOS，让人迷醉。
|
|
6
topbandit 2017-09-04 11:20:31 +08:00
nginx、appache 配置个反爬虫即可
|
 |
7
hand515 2017-09-04 11:23:52 +08:00
|
|
8
woshinide300yuan OP |
|
9
hand515 2017-09-04 11:26:31 +08:00  1
@woshinide300yuan #8 文章不是我的，我也只是个搬运工
|
 |
10
misaka19000 2017-09-04 11:53:41 +08:00 via Android
为啥不用 robots.txt
|
 |
11
wentian 2017-09-04 12:23:12 +08:00 via Android
|
 |
12
peesefoo 2017-09-04 12:28:37 +08:00 via Android
多少年前就已经是这样了，反馈是没用的的。目前已经在域名解析那里把搜狗 bot 解析到他们自己的 ip 了，世界瞬间安静了。
|
|
13
woshinide300yuan OP @peesefoo 可以可以！ 只是限制搜狗在移动端比较发力，硬生的切断，对于一个公开的网站来说是比较尴尬的。 好迷醉哦。
|
 |
15
falcon05 2017-09-04 12:48:40 +08:00 via iPhone
这狗是疯了吧，不知道在 nginx 层根据 ua 直接返回 403 有没有效果
|
|
16
peesefoo 2017-09-04 12:58:32 +08:00 via Android
@woshinide300yuan 看网站情况而定吧，我的网站一个月来自搜狗的流量不到 20 个，切断它的抓取对我的网站几乎没有影响。
|
|
17
woshinide300yuan OP @falcon05 有效果的。嘻嘻~
|
|
18
woshinide300yuan OP @peesefoo 哈哈 苍蝇腿也是肉嘛，富含蛋白质。
|
 |
19
Loyalsoldier 2017-09-04 17:08:58 +08:00
搜狗的蜘蛛比 Google 的频繁多了
|
|
20
woshinide300yuan OP @Loyalsoldier 嗯。谷歌起码还有点节操，每次蜘蛛的数量和间隔控制的都很好，不会造成压力。狗哥来就几十个一起来，秒抓并持续一段时间，想想都尴尬！
|
Select Language