求可以自动抓取网站图片的软件

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

V2EX 提问指南

这是一个创建于 3783 天前的主题，其中的信息可能已经有所发展或是发生改变。

因工作需要，要每天去网站截取一些共享的图片，网站的图片是类似空气质量发布的数据图，每一个小时更新的，每天人工手动下载图片实在是太绑人了，有时候经常会遗漏，请各位V友支招，是否有软件可以自动抓取？

抓取

截取

网站

20 条回复 • 2014-07-16 15:20:38 +08:00

nodejx

2014-07-12 14:41:15 +08:00

phantomjs

sandtears

2014-07-12 14:48:42 +08:00

Python-Splinter

abelyao

2014-07-12 17:41:05 +08:00 via iPhone

根据具体网站写一个，不然通用的也麻烦

aeshfawre

2014-07-12 17:51:57 +08:00

楼主要的不是截图,要的是下载图片的功能,所以phantomjs 和splinter都不适合.
反正是从固定网站上下载,楼主自己用python写一个脚本下载最简单的了

qian

2014-07-12 19:36:08 +08:00

就算是文科生，动手学写爬虫也不是很难的事... https://gist.github.com/lsfalimis/bcf9a780bce3c69e3850

O21

2014-07-12 20:33:28 +08:00

@qian 学习了。。本银正在学Python

顺便问下。。我老用中文注释是不是很二。。。

lilifenghao44

2014-07-12 20:40:55 +08:00

顺便求一个批量下google image搜索的东西

jqw1992

2014-07-12 23:20:50 +08:00

Foooi.com 这个网站的主题可以自动抓取图片的....wp的

sxrw123

2014-07-12 23:46:24 +08:00

新手了解下，有时间看看Python

laozhao0

2014-07-13 18:41:01 +08:00

图片下载很简单的。基本就是判断一下链接和后缀而已。

ROCK2046

2014-07-14 09:00:06 +08:00

@sxrw123 楼主确实是新手，只学过C语言，这个Python还是第一次听说呢，那我是不是得买本书学习学习啊

ROCK2046

2014-07-14 09:01:01 +08:00

@qian 感觉好难得样子，虽然不是文科生，但是这个Python语言确实没用过，得从头学啊

abelyao

2014-07-14 09:05:51 +08:00

@ROCK2046 楼主如果是 windows 平台下使用的，用 C# winform 写一个最方便了，如果不复杂、需要帮忙的话可以再 @ 我哈

sandtears

2014-07-14 09:28:01 +08:00

啊。。。是固定图片不是网页截图吗？
如果图片地址固定的话直接用 Linux 下的 crontab 配合 wget 下载就好了，如果有变化的话可以用 Python 配合 Xpath 获取一下地址，然后再下载

abelyao

2014-07-15 10:49:42 +08:00

@ROCK2046 看来楼主的问题解决了

ROCK2046

2014-07-15 14:31:20 +08:00

@abelyao 楼主表示十分感谢各位大侠的热心帮助但是楼主水平太低实在不懂哇本人不是学计算机的各位大侠说的语言都不懂哇

abelyao

2014-07-15 15:02:29 +08:00

@ROCK2046 把要抓取的网址发上来看看吧，晚上有空的时候帮你写一个，如果不方便公开的就留个联系方式咯

ROCK2046

2014-07-15 18:35:27 +08:00

@abelyao [email protected]

abelyao

2014-07-15 23:54:26 +08:00

@ROCK2046 已发邮件给你

takato

2014-07-16 15:20:38 +08:00

也可以用Scrapy写个小爬虫=。=...