关于用 Scrapy 框架开发爬虫时保存图片操作的咨询

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2621 天前的主题，其中的信息可能已经有所发展或是发生改变。

用 Scrapy 框架开发爬虫，按照一般的规范，对图片进行下载并保存的操作是不是应当放在 pipelines.py 中实现呢？
谢谢

Scrapy

框架

保存

图片

7 条回复 • 2017-10-25 06:34:42 +08:00

misaka19000

2017-10-19 22:46:28 +08:00

是的

saximi

2017-10-19 23:33:00 +08:00

@misaka19000 谢谢！

sunwei0325

2017-10-20 12:58:27 +08:00

有现成的啊 http://scrapy.readthedocs.io/en/latest/topics/media-pipeline.html

saximi

2017-10-20 22:11:39 +08:00

@misaka19000 爬虫下载图片的做法，是不是最好用的还是 urllib 模块和以下的步骤？
req=urllib.request.Request(imageURL)
response=urllib.request.urlopen(req)
data=response.read()

saximi

2017-10-20 22:18:27 +08:00

@sunwei0325 谢谢，我去学习学习

saximi

2017-10-24 20:19:51 +08:00

@sunwei0325 请教，这个例子中的 get_media_requests(self,item,info)方法，info 参数是怎么个用法呢？谢谢

sunwei0325

2017-10-25 06:34:42 +08:00

@saximi 没什么用, 兼容旧版本的