这是一个创建于 2166 天前的主题，其中的信息可能已经有所发展或是发生改变。
关于防采集，自适应的网站，让电脑端无法访问，只能手机端浏览可以防止采集吗
不求百分百，能让采集的麻烦点也好
 |
1
ybyqiji OP 刚开到八爪鱼 有 模拟手机的功能 醉了
|
 |
2
xomix 2019-01-24 14:15:01 +08:00
@ybyqiji #1 正打算跟你说呢，客户端系统通过浏览器后和服务器端是有隔离的，你是无法确认的，无非也就 useragent 这种东西确认一下但是这个其实没有什么卵用。
退一万步就算你封装专门的 app 才能浏览还有 pc 的手机模拟器这种东西………… |
 |
3
GDC 2019-01-24 14:15:52 +08:00
哈哈哈哈哈哈只要是网站，采集是不管你 css 怎么写的，直接读取 html 解析内容，如果是 ajax 加载内容列表的就更简单了。另外一般我更喜欢从手机端去采集…
|
 |
4
libook 2019-01-24 14:21:01 +08:00
这个策略一点都不麻烦，做爬虫的精髓是只要用户能看到，机器就能采集到，而且现在有 Puppeteer 这样的工具，你完全区分不出来是人在访问还是机器在爬。
但控制访问频率可能有效果，比如单个 IP10 秒钟内只能请求 10 次。 |
|
5
ybyqiji OP @xomix https://leonax.net/p/1969/wp-plugin-enigma/ 这是在 v2 看到的为 wordpress 写的插件，使用了一下还可以，不知道实际效果怎么样
|
 |
6
silencefent 2019-01-24 15:14:01 +08:00
爬虫是靠猜你 URL 地址来爬内容的，你设置一个类去鉴别那些多次从失效 url 跳转到 404 页的 ip，拉进 banlist
|
Select Language