1、clone
git clone https://github.com/pmthink/get_pic_for_4chan.git
2、install
cd get_pic_for_4chan
pip3 install -r install.txt
3、download
python3 get2.py
demo
说明,本来想用多线程的,但是搞来稿去,觉得还是 wget 简单粗暴有效。
后续,打算做成 sqlite 的,把每个图片存进去,以便日后更新时不重复下载。
当然,为了追溯,最好能用区块链把图片的指纹给上链,哈哈哈。
声明,本程序默认下载 diy 频道的手工制作方面的图片,你们若用这个爬虫下载其他频道的东西,毁了三观可和我无关。
1
qsnow6 2018-08-02 16:45:28 +08:00 via iPhone
迅雷了解下
|
2
Mogugugugu 2018-08-02 17:03:36 +08:00
搞出一堆下载链接,然后扔在迅雷里面不就好了么 - -
|
3
OpenJerry 2018-08-02 17:07:18 +08:00 via Android
楼上+1,把下载链接整理好,批量导入专门的下载工具
|
4
imn1 2018-08-02 17:12:00 +08:00
1.下载工具
2.多个 wget 一起来,我以前就是这样 |
6
annielong 2018-08-02 17:55:20 +08:00
以前懒省事,也用 python 采集图床,直到下载到两三百兆大小的 GIF 文件,把 python 拖崩溃
|
7
tomfs 2018-08-02 17:56:45 +08:00
python 调用迅雷的 SDKServer 了解下?
|
8
29EtwXn6t5wgM3fD 2018-08-02 18:19:47 +08:00
RPC 调用 aria2 怎么样
|
10
longyutao444 2018-08-02 21:47:39 +08:00
还好有最后一句,要不谁知道是 hm 还是 hc …
|
11
RqPS6rhmP3Nyn3Tm 2018-08-02 22:56:20 +08:00
switch fork()
case 0: execl(blah blah) |
12
msg7086 2018-08-03 03:41:44 +08:00
aria2 的链接文件批量下载了解一下,还能重用 HTTP 连接。
|
13
xiaqi 2018-08-03 07:24:52 +08:00 via Android
调用 wget,还不如调用 axel,多线程,而且还不怕网络中断
|
14
cz5424 2018-08-03 09:28:17 +08:00 via Android
系统命令调用 wget &😉
|
15
jimmyczm 2018-08-03 09:41:09 +08:00
我用 requests。。感觉还可以
|