各大网站登陆方式， 包括爬虫，麻麻再也不用担心我学习爬虫啦，哈哈

[CriseLYJ]

python 模拟各大网站登陆方式，以及一些爬虫程序

• 仅供练习使用，代码注释很详细

• 收集了一些各大网站登陆方式， 和一些网站的爬虫程序，有的是通过 selenium 登录，有的是通过抓包直接模拟登录，有的是利用 scrapy,希望对小白有所帮助,本项目用于研究和分享各大网站的模拟登陆方式，和爬虫程序，会持续更新。。。

• 昨天加了个班，对一些老代码进行了重构和测试，大部分都可以用。

• 欢迎 star

模拟登录一些常见的网站

• 如果你有什么比较难登陆的网站，比如发现用了 selenium+webdriver 都还登陆不了的网站，欢迎给我提 issue

1. requests
2. selenium
3. rsa
4. phantomjs

项目地址

Github

关于

模拟登陆基本采用的是直接登录或者使用 selenium+webdriver 的方式，有的网站直接登录难度很大，比如 qq 空间，B 站，如果采用 selenium 就相对轻松一些。

虽然在登录的时候采用的是 selenium,为了效率，我们可以在登录过后得到的 cookie 维护起来，然后调用 requests 或者 scrapy 等进行数据采集，这样数据采集的速度可以得到保证。

已完成

• [x] Facebook
• [x] Twitter
• [x] 微博网页版
• [x] 知乎
• [x] QQZone
• [x] CSDN
• [x] 淘宝
• [x] Baidu
• [x] 果壳
• [x] JingDong
• [x] 163mail
• [x] 拉钩
• [x] Bilibili
• [x] 豆瓣
• [x] V2EX
• [x] Baidu2
• [x] 猎聘网
• [x] 微信网页版
• [x] gihub
• [x] 图虫

tips of pull request

• 欢迎大家一起来 pull request

问题

• 有的验证码需要手动，之后我会尽量改正
• 代码失效：由于网站策略或者样式改变，导致代码失效，请给我提 issue，如果你已经解决，可以提 PR，谢谢！

另外

• 如果你有什么比较难登陆的网站，比如发现用了 selenium+webdriver 都还登陆不了的网站，欢迎给我提 issue
• 如果该 repo 对大家有帮助，给个 star 鼓励鼓励吧

欢迎你们

1. 项目写了一段时间后，发现代码的风格和程序的易用性，可扩展性，代码的可读性，都存在一定的问题，所以接下来最重要的是重构代码，让大家可以更容易的做出一些自己的小功能。
2. 如果你觉得某个网站的登录很有代表性，欢迎在 issue 中提出

测试

Bilibili 自动登录测试正常，成功率 98%

web 微信

图虫爬虫

项目地址

Github

最后

• 大佬们慢点喷，小弟有点承受不住，---_---

[CriseLYJ]

顶一下

[ThunderMonkey]

已 star，正好学习

[zhihaofans]

厉害

[kylix]

顶一下，已 star

[zhila]

感谢大佬分享

[zhihaofans]

Done 的 github 打错了

[CallMeReznov]

[zhangneww]

支持一下！

项目里并没有 V2EX 的登录呀？

[senggai]

妙啊...

[ARhen]

厉害

[toono]

优秀

[CriseLYJ]

多谢支持，真心感谢

[CriseLYJ]

@zhihaofans 我去改掉，嘻嘻

[hayi]

@zhangneww 杠精

[hellojay]

厉害厉害

[exceloo]

验证码是怎么解决的？

[bonfy]

好像 repo 里没有 V2 啊，我没看错吧

[coeo91]

验证码怎么过的

[newmind]

这么多网站 也是个强人

[zxcvsh]

项目没看，但是楼主有自动化识别验证码方面的研究可以单独开贴讲解一下

[CriseLYJ]

@bonfy 写错了。。。。。。。

[CriseLYJ]

@zxcvsh 可以的可以的，

[claymore94]

验证码看了下是下载验证码图片到本地 input 阻塞，手动输入的

[tanranran]

666


mobaidalao

[CriseLYJ]

还是要你们多多支持，嘻嘻

[Lninn]

不得不承认你很强👍

[fazero]

雪球网可以吗

[zwpaper]

解决了广大爬虫的第一步，有想法

[CriseLYJ]

@zwpaper 哈哈从头开始

[CriseLYJ]

我会去尝试你们给我提的建议！

[daydaydayup]

star 一波

[CriseLYJ]

@daydaydayup 多谢支持，哈哈😆

[wulin]

star 支持一波

[CriseLYJ]

@wulin 感谢感谢

[CriseLYJ]

评论是怎样加图片的啊啊啊啊啊啊

[exip]

像微信这种需要手机端扫码的怎么破?

[CriseLYJ]

@exip 这个你必须要手动扫码哦！

[leesymbol]

谢谢

[xpresslink]

star 为敬。

[CriseLYJ]

@xpresslink 多谢兄弟

[Etuloser]

https://github.com/xchaoinfo/fuck-login

有个类似的项目

[CriseLYJ]

谢谢你们🙏

[martyartrt1]

1688 搞一个

[CriseLYJ]

OOK

[CriseLYJ]

@martyartrt1 可以尝试

[wutiaojian]

验证码是滑块的，请问有么？

[justff]

淘宝登录脚本 测试结果是
File "taobao.py", line 32, in login
login_links.click()
selenium.common.exceptions.ElementNotVisibleException: Message: element not visi
ble

[WaJueJiPrince]

@CriseLYJ 嗨，我看了您的 github 中的采集淘宝的爬虫代码，您采用的是 Sphash 的方式，但是淘宝应该需要登陆才能采集商品页面吧？也就是当我点击一类商品的时候会出现这种页面
https://i.loli.net/2019/03/07/5c80b61730d91.png
也就是要求登陆，请问您是怎么解决的呢？而且我在代码中似乎没有看到有关 Cookie 的信息。

[beneo]

@WaJueJiPrince 我也有同样的疑问，哈哈

[CriseLYJ]

@wutiaojian bilibili 那个就是

[WaJueJiPrince]

@beneo 您破解过淘宝登陆的验证码的那个吗？淘宝现在好像又升级了，似乎能检测到 Selenium，您有什么解决方案吗？

[CriseLYJ]

等我写说明文档

[tikazyq]

支持，可以加入到 crawlab 做测试哈

[CriseLYJ]

@tikazyq 多谢啦

[Liang]

大众点评、美团

[CriseLYJ]

@Liang 比较挑战性哦

[dadama]

想问一下淘宝的登录，验证码

[CriseLYJ]

哈哈

[ligthdawn]

楼主有试过淘宝登录的吗？公司的电脑，不管上淘宝的哪个商品网页，一律要登录，手动拉滑动条都登录不了。因为前阵子一直在用 selenium 绕过淘宝的登录，也绕不过去，一直提示拉滑动条，后面不了了之。怀疑公司的 ip 给拉进淘宝的恶意名单了，不管上哪个淘宝商品网页就要登录，切到另一个淘宝商品网页又要登录，很烦。楼主有好办法吗？

[littleangel]

star 已递给大佬

[woshipanghu]

美团外卖试试看 挺难搞定的

[jucelin]

LZ 试试这个 http://wsjs.saic.gov.cn

[oszlso]

登陆 Apple ID

[saltxy]

大佬，已 star

[konikoo]

淘宝的反爬虫很厉害，不知道 lz 这个的成功率是多少。
之前查过比较好的解决方案是用 pyppeteer

[konikoo]

@ligthdawn 用 pyppeteer， 不要用 selenium，webdriver 一启动就直接被判定为爬虫，之后哪怕手动输入密码都不会验证通过。
或者玄学一下，用 firefox59.0.2 这个版本。同样的脚本和 selenium。这个版本的火狐绝大概率不会出现反爬虫。

[WaJueJiPrince]

@konikoo 淘宝的判断 Selenium 的原理是什么呢？

[laoyuan]

没有煎蛋妹子图差评

[konikoo]

@WaJueJiPrince 你可以上网搜下，记得是会检查一个属性是不是为真。直接在浏览器的控制台也可以查看，手动启动和 selenium 启动之后的属性是相反的。

[CriseLYJ]

被禁言了。。。

[ismyyym]

你这个背景颜色，看着字好难受

[CriseLYJ]

@ismyyym 我争取换一个。。。。哈哈

[aoe2ex]

加星星，加星星

[whitewolf]

赶紧 star 一下 t

[CriseLYJ]

@whitewolf 多谢大哥照顾，哈哈

[halfer53]

@WaJueJiPrince window.navigator.webdriver === true，当然，这只是最基本的反爬虫

[WaJueJiPrince]

@halfer53 谢谢 这个看到了 但是感觉淘宝应该不会只是设置了这个

[hiyouli]

哎哟，这个不得了呢。

[CriseLYJ]

多谢支持

[becauseIdo]

66666

[zhou00]

感谢分享

[lance7in]

佩服佩服

[CriseLYJ]

多谢支持💗💗

[CriseLYJ]

🙆🏻‍♂️🙆🏻‍♂️🙆🏻‍♂️

[lawler]

@ligthdawn 你们公司有网监吧。这像是劫持带来的问题。。

[CriseLYJ]

可以回去再试试

[515576745]

淘宝那个之前研究过几天，发现用 selenium 基本都是暴毙，不管怎么修改 driver 内部属性淘宝还是能检测出来，直接出来滑动条。期待 lz 更新。~
另外知乎 lz 是自己分析 js 吗？我看好多网上的爬虫分析都是到 js 这块就放弃了。。

[CriseLYJ]

@515576745 淘宝确实有点棘手，毕竟是阿里的，全是大佬！

[CriseLYJ]

新增下载网易云的音乐！如果时间够多，我会尝试下载会员音乐！

[CriseLYJ]

帖子不能沉，

[kajweb]

https://mp.dayu.com
这个搞一下？

[lovestudykid]

有 reCAPTCHA 的登陆怎么搞

[May725]

强啊

[enrolls]

关于对无头的检测，@konikoo 提及的 navigator.plugins.length == 0 是特征之一。https://antoinevastel.com/bot%20detection/2017/08/05/detect-chrome-headless.html

[theks]

不错。如果能持续维护、适配就好了。加油。

[CriseLYJ]

@theks 会持续维护的，

[CriseLYJ]

顶一下

[Sxxiong]

大佬你好 我是个初学者 想问问 selenium+webdriver 能很好的判断网页加载完成吗 因为看到有时候浏览器标签页 logo 还在 loading 代码执行了登录 另外还有模拟点击的话 怎么避免网络影响 有没有适合初学者看的文档推荐一下
附一个用 request 没解决的网站: https://eu.battle.net/shop/zh/checkout/key-lookup

[cmlhaha]

顶一下，标记

[CriseLYJ]

@cmlhaha 多谢