一个基于 scrapy 的项目

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

This topic created in 3988 days ago, the information mentioned may be changed or developed.

一个基于scrapy和MongoDB的项目

https://github.com/Junnplus/OnlineJudge_Crawler_Core

知道ACM的人应该知道VirtualJudge，这个项目实现跟VJ 的功能一样，能抓取各个OJ的题目，以及提交代码后的评判结果，作为自己接下去要写的新版VJ的核心组件．（_(:3 」∠ )_　VJ的作者不知道有没有逛V2EX）

Features
- Random UserAgent Support
- Simulate Login Support
- Form Submit Support

目前支持POJ/SDUT_OJ/HDU_OJ/FZU_OJ

当然代码很多地方还没完善，有错的地方可以提issue或是pr

如果有帮助的可以star

我的GitHub: https://github.com/Junnplus/

Scrapy

Support

useragent

6 replies • 2015-07-09 16:27:49 +08:00

saber000

Jul 9, 2015

问题的英文应该是Question吧,不是Problem...

hayao650

Jul 9, 2015 via Android

他的意思应该是pull request吧

junnplus

Jul 9, 2015 via Android

@saber000 你可能不知道oj的问题都叫problem吧

zanpen2000

Jul 9, 2015

好多缩写，一个都不知道，就知道一个Scrapy，一看就是高手

junnplus

Jul 9, 2015 via Android

@zanpen2000 你是说oj的缩写么

saber000

Jul 9, 2015

@junnplus 还真是,我就瞅了眼items