如何分析网页的 XHR 的 URL

[whendada]

如题，最近工作跟爬虫有关，有一部分是从网页的特定 XHR 中获得数据。想写一个通用的程序来实现，Java 语言。老大给我的方向是分析各个需要爬虫的网站的 xhr 的 url，但我看的一些网页中 url 的规律都不同，实在很困扰，特来求助，谢谢大家。

[brazz]

先把浏览器的调试工具用好了

[LinsVert]

直接 python，用爬虫框架一下就出来了，url 用 xpath，regx 差不多就能出来了

[goofool]

下载一个 postman，开代理模式，然后导出 python 脚本美滋滋

[whendada]

@goofool OK 我看看，谢谢

[whendada]

@LinsVert 工作要求得用 Java，先看看你说的，谢谢