上周周末写了一个腾讯漫画的爬虫....
现在已经有的功能:
1.查找漫画
2.查找出漫画的总章节数目
3.下载单话漫画
4.下载所有章节漫画(免费的括号笑)
目前存在的问题:
1.多线程下存在卡死或假死的状态(这块我是真的搞不懂了)
跪求大佬们教育,为什么会出现多线程下爬虫不爬了的情况啊 昨天我加了请求超时时间也还是会出现这种状况(昨天的修改没有上传 github)
代码地址:https://github.com/Fretice/Tencent_Cartoon_Download
注:请忽略 readme 文件中的内容,因为好多都写错了 /(ㄒoㄒ)/~~
1
nanlong 2017-04-20 11:45:23 +08:00
还没见过这么打包 python 项目的,你是第一个
|
4
zhihaofans 2017-04-20 12:17:09 +08:00 via iPhone
cartoon 是动画,漫画是 comic 。。。
|
5
zhihaofans 2017-04-20 12:19:30 +08:00 via iPhone
https://ooo.0o0.ooo/2017/04/20/58f836c6e9bbe.png
|
6
xvx 2017-04-20 13:29:17 +08:00 via Android
腾讯卡通下载
|
7
ty89 2017-04-20 13:47:15 +08:00 2
驼_峰_加_下_划_线_的_命_名_也_是_少_见
|
8
zhihaofans 2017-04-20 13:51:57 +08:00 via iPhone
@ty89 →PHP
|
9
Marfal 2017-04-20 14:04:01 +08:00
.gitignore 老哥
|
10
Marfal 2017-04-20 14:05:25 +08:00
@ty89 Tuó _Fēng _Jiā _Xià _Huá _Xiàn _De _Mìng _Míng _Yě _Shì _Shǎo _Jiàn
|
11
justtery OP 你们开心就好 😊 注意哦,那只是个项目名称,注意看文件文件名称,更给力的说
|
12
55555 2017-04-20 15:26:27 +08:00
以前有人这么干过 不过他是付费的都有了 然后被腾讯直接警告了
|
13
zhihaofans 2017-04-20 16:11:22 +08:00 via iPhone
不是很懂 venv 目录下的是干嘛的,依赖?
|
14
golmic 2017-04-20 16:17:22 +08:00 via Android
哈哈,看评论就知道很欢乐
|
15
irory 2017-04-20 17:03:01 +08:00
和 LS 一样之前爬取过 qq 漫画 . 不过我只爬了海贼王的 . 共勉 http://irory.me/blog/8
|
18
lauix 2017-04-20 18:23:12 +08:00
|
19
Love4Taylor 2017-04-20 18:35:27 +08:00
中国惊奇先生...... 没有 .gitignore 啊
|
20
justtery OP @Love4Taylor 那个只是一个测试。。请忽略
|
21
xuyl 2017-04-20 23:38:09 +08:00
这种打包方式确实奇葩,你搞个 requirements.txt 不就行了?
|
22
visylar 2017-04-20 23:49:43 +08:00
pic_list_download 作为一个 shared variable 传入 13 个线程如果没有注意 atomic access ,应该会有很多 race condition ,所以会卡死或假死
|
23
RqPS6rhmP3Nyn3Tm 2017-04-21 04:34:34 +08:00 via iPhone
我当年也写过一个差不多的,不过你这打包方式真的奇特
|
25
MyFaith 2017-04-21 08:55:06 +08:00
看了一眼 venv 目录,还是不 star 了。
|
26
Ixizi 2017-04-21 10:09:32 +08:00
hhhhhhhh 厉害了 我的哥
|