走 cloudflareCDN 的 GithubPages 网站爬虫无法抓取么？
Syaoran · 2015-05-26 19:44:51 +08:00 via iPhone · 2361 次点击这是一个创建于 3475 天前的主题，其中的信息可能已经有所发展或是发生改变。
个人博客在github上，走cf的cdn，不管用百度抓取诊断还是站长工具的都是403，我一个朋友同样的方案也是403…但是测试了一个用wp的能正常抓取，一个同样github的用hexo的也能抓取（不过他同时放在gitcafe，可能dns有分开解析吧）
所以403是什么情况呢？能正常访问的，貌似只有爬虫被block了
所以403是什么情况呢？能正常访问的，貌似只有爬虫被block了
 |
1
lyragosa 2015-05-26 21:00:55 +08:00
cf的CDN非常奇怪……会block掉各种奇奇怪怪的访问，尤其是HTTPS，我试用了大约两周之后还是去掉了……
|
 |
2
wy315700 2015-05-26 21:05:09 +08:00
把安全防护关了
|
 |
3
Syaoran OP @wy315700 已经是免费用户能选择的最低级别了，我看Analysis有谷歌的Crawler…
|
 |
4
402645707 2015-05-27 00:18:55 +08:00
貌似迅雷也会被屏蔽
|
Select Language