自学了几个月的爬虫 到现在感觉遇到瓶颈一直没法突破,主要是在遇到加密参数的时候,比如说 pc 端 通常我会先观察哪些参数可能是被加密处理的,然后拿着关键词全局搜索大概也能找到相关的 js 代码,但是让我进行下一步操作我就不知道该怎么办了 app 同样 现在真的很痛苦,所以希望有好心的大佬指点一下,遇到 pc 端 和 app 的加密参数该如何处理 能不能给个处理思路 让我这个萌新可以学习哈 先说声谢谢哈
1
njshiyanhz 2019-06-16 14:08:54 +08:00 1
能找到相关 js 代码,那就简单了。
比如你的未加密参数是“关键词”,那你就用这段 js 代码,把“关键词”加密成对应的密文,然后再作为参数请求对应的地址。 简单的 js 代码,可以直接改写成爬虫所用语言的代码; 复杂的 js 代码,java 里面可以用 ScriptEngine 执行,或者 phamtonjs 执行。 APP 的加密参数解决方式类似。 |
2
xfspython OP @njshiyanhz 谢谢大佬, 我仔细想了一下,可能是自己 js 代码还是不够熟悉以及对于那些常见的加密算法还是不够了解,然后有没有必要好好去学学 js 呢?
|
3
nyfok 2019-06-16 22:35:00 +08:00
用 google v8 自己做个浏览器,这样抓什么都容易
|