网站是如何识别像 Puppeteer 这样采用 chrome headless 模式的 node js 爬虫的？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2712 天前的主题，其中的信息可能已经有所发展或是发生改变。

最近想用 Puppeteer 爬取这个网站的数据，发现爬取几个数据之后就很快被识别为机器人，弹出 recaptcha 的验证，已设置 UA 和 Cookie，模拟浏览器人工操作还是被封禁。这个网站是如何识别检测 puppeteer 爬虫的？

5 条回复 • 2018-04-20 13:58:32 +08:00

gzlock

2018-04-19 21:24:58 +08:00

瓶颈在 ip，上代理池

miyuki

2018-04-19 21:35:24 +08:00

可能是 IP 频率？

soli

2018-04-20 05:33:07 +08:00

道高一尺，魔高一丈。

复杂一点的，可以分析用户鼠标、键盘等动作。

yamedie

2018-04-20 07:14:36 +08:00 via Android

操作频率太快了，设置点间隔

Sparetire

2018-04-20 13:58:32 +08:00