Python -selenium 控制 chrome 遇到浏览器卡顿并卡住整个程序

[lasuar]

用了 selenium 有好久了，卡住之后，连程序都停滞了，就像时间停止了一样，没有任何日志。。
这个问题一直没当回事，每次都是起多个浏览器，某个卡住了还有别的在工作，过了许久它又恢复了，查了下说是 chrome 的原因，使用别的浏览器说没有这个问题（未尝试），想来咨询下各位 zs 爬友~，现实中要找到 zs 爬友太难了，v 站真是个好地方~~感谢感谢

小结：由于楼主使用 chrome 已经习惯了，相关的特性换到其他浏览器不一定支持，比如支持非阻塞加载这个特性用 phantomJs 就不行（官网也没找到相应描述），遂决定采用 v 友的 kill 进程建议。

不看不知道，一看吓一跳，chromedriver 的进程居然有那么多，每启动一次浏览器，chromedriver 都会有一个进程，而关闭浏览器时，chromedriver 并不会随之关闭。

chromedriver 在 win10 上占用的内存是 10M 左右，长期运行 selenium 内存泄露的原因之一想必来自于此了。

[lasuar]

别的浏览器如 firefox、phantomjs

[lasuar]

比如等待某个元素最多 30s，卡住的表现就是它能等一天

[SjwNo1]

那就先尝试一下别的浏览器

[shiran3f]

我的处理方式很暴力，定时 kill 所有相关进程...你会发现 chrome 开了一堆进程。

[wzwwzw]

@shiran3f +1 我也是这样子处理的，每个任务周期结束之后杀掉所有 chrome 的进程，还有 chromedrvier 的进程，如果不涉及到复杂操作可以用 splash。

[sxd96]

selenium 不是专门做爬虫的，长时间跑确实会有问题。只能定时 kill 重启。

另外，可以试试 puppeteer

[retanoj]

@shiran3f
定期 kill 进程+1

[lasuar]

@shiran3f 我先尝试别的浏览器试试
@sxd96 puppeteer 不也是控制 chrome 的吗

[lasuar]

@shiran3f 好的谢谢，请问下如何准确找到爬虫启动的 chrome 进程呢

[lasuar]

@wzwwzw 好的谢谢，请问下如何准确找到爬虫启动的 chrome 进程呢

[wzwwzw]

@lasuar 直接全部杀死呗，可以用 docker 或者用虚拟机运行爬虫，这样子最省事。

[lasuar]

@wzwwzw ok

[andylsr]

卡住是怎么个卡法, 我一般会尝试 reflush, 如果确实进程死了那就只能 kill 了, 启动时获取一下系统进程列表, 启动后再获取一下, 一对比就知道启动了哪些 chrome, 如果问题经常会碰到那就先做个测试, 定期重启一下, 或者再写个小脚本做监测?

[shiran3f]

@lasuar #8 用 @wzwwzw #11 的方法是最省事了，我是记录每次启动后 chrome、seleium、chromedirver，Xvbf 的进程号。因为我是以一次任务启动一次，前后对比来看是否 kill 干净。

[soho176]

用 firefox，我用 chrome 总出问题，换成了 firefox 好了

[guochao]

这种进程不退出的问题可以尝试下 linux 的 systemd 或者直接 cgroup，或者 docker。docker 下面就是得把沙箱关掉，麻烦一些。

我们开发环境和生产都是 Fedora/CentOS，开着 SELinux。用的是 puppeteer。遇到的问题是这样，有的时候 chromium 本身父进程会崩溃，或者 blink 的渲染进程 bug 阻塞了通信导致 timeout，最后无法正确关闭。解决办法就是利用 cgroup 记录 pid，顺便限制一下资源占用，退出时一次性把这个 cgroup 下所有 pid 杀死。

chrome 的 devtools 协议的话，还可以尝试一下 node 的 puppeteer 和 golang 的 chromedp，都是直接启动 chrome/chromium 不需要 chromedriver 的

[lasuar]

@guochao 好的，感谢！