推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 2017 天前的主题，其中的信息可能已经有所发展或是发生改变。
我知道 scrapy 可以使用 scrapyd 来监控 可是我有很多 requests 写的爬虫该如何监控呢？ 我目前的做法是在 pycharm 里一个个去运行程序 然后在 run 栏里会出来多个标签可以监控输出 或者是打开多个 cmd 每个里面 python xxxx 但是这样当电脑重启再来启动多个爬虫很麻烦 有没有好的方法或者 pycharm 现成的设置能让我配置好所有爬虫程序后一键启动并且分成多个标签让我来监控程序的输出呢？
 |
1
ModerRAS 2019-06-11 21:37:11 +08:00 via Android
你可以直接写一个调用其他爬虫 main 函数的脚本，然后直接输出控制台就好了
|
 |
2
genius2k 2019-06-12 04:22:25 +08:00
logger
|
 |
3
Luxurious 2019-06-12 09:16:32 +08:00
把 requests 爬虫分下类, 放到一个文件夹, 另外写一个脚本来管理这些文件夹下的爬虫
|
 |
4
fakeman 2019-06-12 09:45:11 +08:00
用 supervisor 即可
|
 |
5
rocketman13 2019-06-12 10:47:46 +08:00
脚本就可以一键启动，日志管理就可以监控输出
|
 |
6
lowman 2019-06-12 11:25:48 +08:00
进程管理工具
|
 |
7
tikazyq 2019-06-12 12:08:06 +08:00
这个需求太符合 Crawlab 了！ Crawlab 是分布式爬虫管理平台，非常适合爬虫任务调度、任务监控、数据分析。欢迎来试用
Github: https://github.com/tikazyq/crawlab |
 |
8
huaerxiela6 2019-06-12 12:29:01 +08:00
进程管理工具
|
 |
9
Hiyokunotori OP @fakeman win 的话使用什么呢。。
|
|
10
fakeman 2019-07-18 13:36:03 +08:00  1
|
|
11
Hiyokunotori OP @fakeman 十分感谢
|
Select Language