请问大佬们，有没有什么办法可以屏蔽 facebook 的爬虫爬取我网站的内容，感谢
CCKurokawa · 2023-05-24 21:29:27 +08:00 · 1378 次点击这是一个创建于 547 天前的主题，其中的信息可能已经有所发展或是发生改变。
下面是我在 cloudflare 的数据截图。
3 条回复 • 2023-05-25 10:30:19 +08:00
 |
1
oceana 2023-05-24 21:36:21 +08:00
应该配置一下 robot.txt 就好了吧
|
 |
2
Yourshell 2023-05-24 21:50:36 +08:00
|
 |
3
gam2046 2023-05-25 10:30:19 +08:00
都已经上 cf 了，WAF 里可以直接配置的，拒绝自动化程序。
|
Select Language