 |
1
cxbanana Jul 2, 2019
因为天猫对 selenium 有指纹信息识别，可以尝试捕获下天猫发送过来的 js 文件，修改检测代码，拦截替换下……
|
 |
2
youxiachai Jul 2, 2019
天猫的防爬很先进的.....
你这个模型太简单了...一下下就被设别了.. |
 |
3
zr8657 Jul 2, 2019
天猫 cookie 很多的，你确定你添加全了吗，你都用 selenium 了直接登陆完开爬不行吗，一个账号爬个 5、6 页大概就会出验证了
|
 |
4
yaoye555 Jul 2, 2019
selenium 已经被淘宝系产品防死了,目前暂时能解决的就是修改 window.navigator.webdriver
|
 |
5
hoyixi Jul 2, 2019
能请教下，爬这些电商爬来的数据，怎么变现？很好奇
|
 |
6
d5 Jul 2, 2019  1
可以考虑用测试框架来干这种事，比如在真机上用 airtest
|
 |
8
misaka19000 Jul 2, 2019 via Android
试下 puppeter
|
 |
9
di1012 Jul 2, 2019
其实你要是想搞到淘宝商品的数据，还不如直接爬一些做代购的公司的网站，人家用的是接口，还稳定
|
 |
10
lusi1990 Jul 2, 2019
换成 firefox， 或者使用 puppeteer 试试
https://www.jianshu.com/p/afdabf486b54(然后参考这个) |
 |
11
yanheqi Jul 2, 2019
如果要抓 cnbeta 这种网站，能做到吗？
|
 |
12
annielong Jul 2, 2019
天猫正常访问还时不时来个验证，
|
 |
13
smallhaes OP 谢谢大家的回复, 果然用天猫作为练习太难了, /哭 没把握好难度. 实验室的师兄师姐推荐换个网站练习
3 楼说的是 OK 的, 可以登录后直接开爬, 不方便的地方是得显示浏览器界面. 如果不显示浏览器界面的话, 登录这块也是个大难点, 所以我才想着用 cookie 跳过登录,同时不再显示浏览器界面 同时也感谢其他小伙伴们提出的建议, 我会去尝试哒~ 再次感谢大家!! |
 |
14
LicV587 Jul 2, 2019
selenium 这种东西，理所当然的会被淘宝系封，连我挂 VPN 访问都会被封。淘宝系现在的体验是越来越差，所以都不要淘宝天猫了
|
 |
15
limuyan44 Jul 2, 2019 via Android
连正常访问都可能拦截何况是个爬虫入门都会写的 selenium。。。
|
 |
16
murmur Jul 2, 2019
我怀疑淘宝已经走火入魔，现在调试工具已经开始请求 webmidi 这种正常需求不可能用到的技术了，我怀疑是他在枚举当前浏览器支持的是所有技术，来判断你是正常的 chrome 还是在 headless 里
|
 |
17
2805408253 Jul 2, 2019
说白就是技术检测 加 行为规则验证。
技术检测就不说了 行为规则：比如正常人浏览一种商品的一页数据，最低也要超过 1 秒钟（极限啊 CAC ）。你搞的爬虫一秒钟上百个页面，当然过不了。（行为规则库还是很强大的） |
 |
18
Meli55a Jul 2, 2019
别说是爬虫，正常人点都会出现这种验证，搜索几下就让爷休息，疯了
|
 |
19
wongyusing Jul 6, 2019
selenium 基本上是没有办法爬取阿里系的网站的
他们会检查你的浏览器的 webdriver 是否为 True。 即使绕过了这个检测，还有各种各样的 js 行为检测 |
Select Language