有没有爬虫管理开源项目，可以管理爬虫脚本、ip 代理池、数据可视化

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 46 天前的主题，其中的信息可能已经有所发展或是发生改变。

有时候写了一些爬虫脚本，但都是单文件的，每次都要指定好数据库字段，然后运行爬虫爬取数据。我就在想，有没有可以管理爬虫脚本的项目，支持将爬虫脚本编辑和运行，支持预览爬取的数据，可以配置 ip 代理池。我在 github 上找了一下，没有找到。自己开发的话，感觉是个大工程。

爬虫管理

ip代理池

数据可视化

5 条回复 • 2025-03-25 14:35:10 +08:00

bqzzd

46 天前

crawlab 、scrapyweb

alukongfu

46 天前

这种带有自定义的功能，建议是自己开发一个。另外，建议将脚本集成到框架中去管理，这样就更加方便。

xixiv5

46 天前

代理池有推荐的吗

xinmans

45 天前

用 scrapy 开发了一些脚本，比较稳定
scrapyweb ，用过一段时间，bug 很多，现在用 crontab 调用 scrapy ，稳的一笔

macaodoll

19 天前

我都是自己开发,