Python 多线程爬虫如何优雅的退出？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2925 天前的主题，其中的信息可能已经有所发展或是发生改变。

爬虫如果不退出就会一直爬的……但是每次按 ctrl+c 退出的时候似乎都有点问题。爬虫的退出如何正确的实现？

退出

多线

Python

ctrl

8 条回复 • 2016-11-24 15:36:16 +08:00

cdwyd

2016-11-14 17:42:42 +08:00 via Android

标记下看看有什么好的解决方法没

wellsc

2016-11-14 17:43:37 +08:00 via iPhone

sudo pkill -9 python

loalj

2016-11-14 17:51:44 +08:00

t = threading.Thread()
t.daemon = True

em70

2016-11-14 18:01:53 +08:00 via iPhone

每爬一个数据检测指定目录下指定文件里的值， 1 就忽略， 0 就退出，开另一个窗口用 vi 控制这个文件的值

Thoxvi

2016-11-14 18:17:50 +08:00 via Android

看需求吧…生产者爬到阈值丢一个毒丸到队列消费者就没了

stamaimer

2016-11-14 20:26:18 +08:00 via iPhone

不知道为啥不能优雅的退出

ryd994

2016-11-15 16:27:50 +08:00

用 signal 模块，保证信号发到主线程
设置子线程 daemon=True
同时，其他线程捕捉 keyboardinterrput ，然后 interrupt_main https://docs.python.org/2/library/thread.html#thread.interrupt_main

Powered

2016-11-24 15:36:16 +08:00 via iPhone

调度系统…