subprocess 后遗症

[wikinee]

用了 subprocess 的 Popen，发现主进程都退出了，子进程连用户注销之后都还能跑…

有木有办法一块都退出了

总结一下这两天看的成果：
方向一：采用钩子函数在进程退出时，发送杀死子进程。
缺点：经过我尝试，使用 kill -9 这种做法杀死进程，可能信号都来不及发出来。如果是比较安全的环境，可以采取这种做法。（还有个缺点是，可能让某些 GUI 程序不正常，不过也可能是我个人问题）

方向二：进程组方法
大概也是上门类似这种钩子函数，不同的是吧子进程和主进程都放到一个进程组里面去。这是高级玩法，不太熟悉。

方向三：放弃 subprocess，直接 shell 脚本
反正命令也不多， 直接 cmd & 完事了。。。

[rogwan]

你要知道进程 id 呀，主进程只负责起，不负责灭，他主进程不知道紫禁城什么时候干完活了啊。要控制的话，要进程间通讯才行

[Abbeyok]

不可能啊，主进程退出了，子进程也会强制退出啊。。

[hakono]

主进程退出的时候 Popen 调用 kill，（ windows 的话 taskkill ）手动杀了子进程

[iyaozhen]

一般都是父进程记录子进程的 pid，然后父进程退出时把子进程都 kill 一遍

[Tink]

subprocess 就是有这个问题，Popen 的时候把 pid 返回来保存，结束的时候直接杀掉

[Qzier]

proc = subprocess.Popen(...)
try:
outs, errs = proc.communicate(timeout=15)
except TimeoutExpired:
proc.kill()
outs, errs = proc.communicate()

[labnotok]

手动 ps aux | grep xxx | awk '{print $2}' | kill 吧，
我前几天用 multiprocess 的 pool 的时候出了一堆 D 进程，
D 进程只能手动关闭，父进程 加上 兄弟进程同时关，一般就能杀掉了

[tangrwx]

有个参数的可以开启进程组，好像是 pexec 或者 new_session。，你可以查下文档

[hhhsuan]

用 psutil，把子进程全 kill 了：
https://gist.github.com/xcjiang/bd19224a4b6cc79470118337cc3bdc8b

[lolizeppelin]

这些其实都不是 python 的知识
好好把操作系统信号,和进程 fork 相关看一看

这些基础知识不熟悉,multiprocess、subprocess 各种问题你都不知道原因,各种标准的处理方法你都不知道
不熟悉的就不要瞎回答

比如上面有人说这种完全错误的话

~~~
不可能啊，主进程退出了，子进程也会强制退出啊。。
~~


强调一下！！！这些其实都不是 python 的问题！！

[lolizeppelin]

上面的直接 kill 都不是正确做法

如果你子进程没处理信号的话,只能用信号 9,这种做法是非常不标准的

[codehz]

Linux 平台的话，可以用 prctl PR_SET_PDEATHSIG

[PTLin]

你可以用 atexit 注册个 exit handler，然后每次 fork 的时候记录下来，调用 handler 的时候向子进程发送 SIGTERM 信号，子进程也可以注册 signal handler 来进行退出的收尾工作。

[wikinee]

@lolizeppelin 菜鸟研究的不深入，这块实在不太懂。
@rogwan @hakono @iyaozhen @Tink 保留子进程 PID 的做法确实有效，只有一个致命缺陷，其实类似 -9 那种干掉进程的做法，有些信号什么的根本来挤不发出去，不保险。
@tangrwx 我看了那个 prexec 什么的参数，说是 fork 之后，启动之前的一个钩子函数，然后文档里直接 NOTE 说了这个参数不保险，😅
@Abbeyok 你可以找例子跑跑看，不要在终端 ctrl + C，试试在进程管理器里把主进程停止。

[wikinee]

@codehz @PTLin 这都是高级玩家了，我还没太深入研究这一块。
我最后用 shell 脚本写了，放弃这种主进程、子进程的做法。

[tangrwx]

@wikinee 试试 start_new_session 参数，其实本质是 Linux 进程组和会话的概念。

[wikinee]

@tangrwx 问题下面我补充了，我看到过这种进程组的玩法。我这边命令不多，直接写 shell 脚本了

[hakono]

@wikinee 你担心主进程被强杀的话，那你可以改变策略在子进程里监视主进程啊，主进程退出的话就退出

如果子进程的程序不是你写的程序没法改代码加监视逻辑的话…… emmm ……
解决办法其实有……不过算有点骚操作，你可以往子进程里注入远程代码啊哈哈哈
在注入的代码里做主进程监视就行了，完美

[lolizeppelin]

不需要子进程监控主进程,有个很标准的做法是用管道
主进程 fork 前开管道

子进程开一个线程去读管道,后面紧跟强制退出代码 os._exit(1)

因为这个读取是阻塞的,当主进程挂掉的时候阻塞读能返回空,这样就知道主进程挂了

规范程序都按标准写法写的, 不懂把 openstack 的 luanch 那部分读透了就都明白了

[PTLin]

@wikinee 的确用 shell 实现也是很简单，cmd &放到后台，然后可以用 wait 来等待，不过我又想起来一个方法，进程 fork 后除非显式调用 setpgid 函数更改进程组 id 否则会继承父进程的进程组 id，这样父进程退出前用 kill 函数，pid 参数指定为 0 就可以发送给同一进程组的所有进程了。

[butterfly1211]

6 楼正解啊

[mythmgn]

楼主可以 wx 搜下我的号 程序员的梦呓指南 看下最近的 python 进程篇, 讲 os.system subprocess.Popen 家族裸用的原罪, 怎么处理子进程\孙子进程的问题

[mythmgn]

一篇是这个: Python 踩坑之旅其一杀不死的 Shell 子进程 mp.weixin.qq.com/s?__biz=MzUxMjIzODQ3Mg==&mid=2247483675&idx=1&sn=4338aef5e4268d01d9197cdbb515b301&chksm=f96637fcce11beea8bbbb617359152311e968b0023f844d90164943235db412286572dc5973e&token=863711821&lang=zh_CN#rd

终极篇是这个: Python 踩坑之旅进程篇其三 pgid 是个什么鬼
mp.weixin.qq.com/s?__biz=MzUxMjIzODQ3Mg==&mid=2247483701&idx=1&sn=20aad7b2593e06c6aa4839eb22b446e3&chksm=f96637d2ce11bec44e9968d3912449eb62c8787492ee6a1a22a7f70142f0e2b5e04351b7f909&token=863711821&lang=zh_CN#rd

[liuguichao]

pgid = os.getpgid(self.proc.pid)
os.killpg(pgid, signal.SIGTERM)