Scrapy 里的 job 是指的什么东西呢？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2671 天前的主题，其中的信息可能已经有所发展或是发生改变。

想要爬虫可以恢复继续工作，看了 Scrapy 文档里 Jobs: pausing and resuming crawls 这一章，但是没看懂 job 到底是指个啥东西呢？<br>
求指点~
https://doc.scrapy.org/en/latest/topics/jobs.html

6 条回复 • 2018-02-18 21:53:09 +08:00

gouchaoer

2018-02-18 18:34:15 +08:00 via Android

要想自己定制就别用 scrapy

ila

2018-02-18 19:52:57 +08:00 via Android

@gouchaoer 用啥？除了自己写，pyspider 吗

zeq

2018-02-18 20:16:05 +08:00 via iPhone

涉及暂停恢复，那么 job 的定义就是一次抓取，现象成一组 URL 的集合。

zeq

2018-02-18 20:18:01 +08:00 via iPhone

@zeq 有几个错别字😒

一个 job，简单的理解就是一次 scrapy crawl ... 执行过程。

gouchaoer

2018-02-18 21:39:09 +08:00 via Android

@ila 用 requests+bs4 就完了

infun

2018-02-18 21:53:09 +08:00 via Android

可以理解为定时任务？