Python 爬虫学到破解 js 卡了，知识储备不足。求接下来的学习指导。。

已经会 requests,bs4,xpath,框架还不太熟，但 scrapy 也简单用过。前几天爬了一个漫画站，http://www.shenmanhua.com/douluodalu/597.html 我需要的一段字符串，百度了下，说是没有解密的字符串。。求接下来的学习路径，是学习 js 吗。（我现在连 python 都还是半吊子，也没有太多精力去学另一个编程语言啊。）

var mh_info = {imgpath: "J+8L+K<+?<+?=+K=+HJ+?=+K;+G:+G=+K?+??+><+K<+>H+><+K;+>>+><+K=+>?+>>+8L;?=+K>+GL+?J+8L"

Python

字符

漫画站

半吊子

23 条回复 • 2018-04-07 09:41:21 +08:00

F1024

2018-04-04 21:48:51 +08:00

http://mhpic.manhualang.com/comic/D/斗罗大陆拆分版 /597 话 /1.jpg-smh.middle
http://mhpic.manhualang.com/comic/D/斗罗大陆拆分版 /597 话 /2.jpg-smh.middle

http://mhpic.manhualang.com/comic/D/斗罗大陆拆分版 /1 话 /1.jpg-smh.middle
http://mhpic.manhualang.com/comic/D/斗罗大陆拆分版 /1 话 /2.jpg-smh.middle

遍历吧。。。。。

SingeeKing

2018-04-04 22:12:56 +08:00

request_html 然后让它渲染 js 解密

qsnow6

2018-04-04 22:16:21 +08:00

@F1024 瞬间终结

huluhulu

2018-04-04 22:45:29 +08:00 via iPhone

pyv8 直接运行 js 得到结果，看看变量是啥就行了。
之前爬 smzdm 跳转链接居然还是混淆的，也是直接算出来的。

wjm2038

2018-04-04 22:50:54 +08:00 via Android

找 js 里调用 mhinfo 的地方，一定有解密方法的，找到之后直接拷贝下来本地 nodejs 搞就行

qsnow6

2018-04-04 22:56:07 +08:00

常见的加密方法 RSA、MD5、BASE64、urlcode、urlencode 都可以看看

manzhiyong

2018-04-04 23:05:06 +08:00

selenium 了解一下

lozzow

2018-04-05 00:42:33 +08:00

推荐使用 request_html，好用的一批

Trim21

2018-04-05 01:36:49 +08:00

原来还会慢慢找加密方式,现在懒了直接用 selenium 跑结果了

locoz

2018-04-05 04:12:34 +08:00 via Android

全局搜索是个好东西，pyexecjs 也是个好东西，两者结合起来就是找到解密部分直接用 python 调用。。

emric

2018-04-05 05:40:46 +08:00

花了差不多 10 分钟。
https://gist.github.com/17/23cca00b6b647285379f9b0dfee9663b

sunwei0325

2018-04-05 09:09:17 +08:00

request_html 加载 js 底层是用 pyppeteer, 可以了解一下

azh7138m

2018-04-05 09:19:12 +08:00 via Android

@qsnow6 base64，urlencode 居然算作加密，可以可以

fiht

2018-04-05 09:26:31 +08:00

个人觉得，爬虫的发展方向应该是写越来越稳固，设计能够多机运行，部署简单，数据承载量大的爬虫。
死扣 JS 上升太慢了。MongoDB Hadoop Hbase Redis MQ 这种东西都可以了解了解。
DebugJS 真的费脑子，而且前景有限不方便以后转行。

dengshuang

2018-04-05 10:21:39 +08:00 via Android

@F1024 这只能遍历一种漫画，每一种漫画都是不一样的

dengshuang

2018-04-05 10:25:32 +08:00 via Android

@locoz 萌详细的说说吗？全局搜索

abcbuzhiming

2018-04-05 11:06:49 +08:00

说真的，除非你打算 JS 专精，否则真没必要去研究 JS 破解，这是一条逆向的道路，本身天赋和思路就和搞开发的不一样。再说了，再牛逼的 JS 加密你还不是要进浏览器，我上浏览器内核给你跑一遍，，什么结果不都出来了，无非就是慢一点，可能搜索引擎要求速度特快这个性能无法接受，但是我们自己的爬虫需要这么高的性能吗？

wizardforcel

2018-04-06 13:03:07 +08:00 via Android

@abcbuzhiming 爬虫不走逆向的道路就是等死，你连分内的事情都搞不定。

yamiedie

2018-04-06 23:56:02 +08:00

@F1024 每一章的图片个数有办法获取么,虽然不是事必要获取...

yamiedie

2018-04-06 23:57:01 +08:00

@wizardforcel 虽然爬虫不能做一辈子,但是也肯定要找好以后的出路...

locoz

2018-04-07 03:04:21 +08:00

@fiht #14 个人认为爬虫是有两个发展方向的，而且都很极端，区别很大。
一个是广撒网型的，就是你说的这种，问题在于碰到反爬的平台没办法，只能靠其他平台补充。
另一个是精准打击型的，主要是逆向、针对某一个平台的反爬去破解。

locoz

2018-04-07 03:07:35 +08:00

@dengshuang #16 打开浏览器的开发者工具，按 ctrl+shift+f （ Chrome-Windows 下），简单难度的 js 直接搜加密参数名就能找到加密函数。

F1024

2018-04-07 09:41:21 +08:00

@yamiedie 网页源码里有 totalimg:12 就是 12 页 <script>var mh_info={imgpath:"J+8L+K<+?<+?=+K=+HJ+?=+K;+G:+G=+K?+??+><+K<+>H+><+K;+>>+><+K=+>?+>>+8L;?=+K>+GL+?J+8L",startimg:1,totalimg:12

也可以循环下载返回 404 的时候跳出章节+1 继续下载就行了