请教一下关于爬取 vue 页面

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1346 天前的主题，其中的信息可能已经有所发展或是发生改变。

直接抓取页面，显示的是 vue 的代码。网上查了下，没有解决方案。原因是：因为是动态的，传输的是 json.因此只能知道 api 才能拿到数据。那这样的话，如果它的 api 未开外网，是不是代表无法爬取了。只能在浏览器中使用 javaScript 抓取。

15 条回复 • 2021-02-28 23:13:45 +08:00

wolfan

2021-02-28 13:51:24 +08:00 via Android

既然有 json，为什么不直接搞它？

coolcatha

2021-02-28 13:52:10 +08:00 via iPhone

如果 API 没开外网，你打开 vue 的网页也看不到内容。只要你能看到内容你就能抓

cryboy007

2021-02-28 14:00:26 +08:00

@wolfan 技术太菜，没找到请求。。。

cryboy007

2021-02-28 14:01:41 +08:00

@coolcatha 这样的话，我在找找 0.0

FreeEx

2021-02-28 14:09:02 +08:00

打开控制台，选择 Network，点击下面的 XHR 过滤异步请求。

cryboy007

2021-02-28 14:21:32 +08:00

@FreeEx ![]( https://files.catbox.moe/ig8djt.png)，没看见有响应是 json 的。。

stx0821

2021-02-28 14:56:00 +08:00

puppeteer

Ptu2sha

2021-02-28 15:01:29 +08:00

发个链接有时候数据可能是 js 后缀返回的

crab

2021-02-28 15:39:30 +08:00

除非数据是通过 js 又处理的，直接用浏览器渲染方便。

cryboy007

2021-02-28 16:50:25 +08:00

@stx0821 没听说过。
@Ptu2sha 其实就是杨中科大佬的学单词网站、https://bdc2.youzack.com/
@crab 不是很懂。。。

himself65

2021-02-28 17:16:06 +08:00 via iPad

题主可能技术水平不够没有描述清楚，看你的意思就是前后端是分离的，前端是靠 get 方法获得数据的 JSON 的。

大概就是抓一下包，看看需要什么 header 就行了，理论上什么语言都可以抓

zoikhemlab

2021-02-28 17:35:45 +08:00

不就是这个么？
![2021-02-28 17-32-01 屏幕截图.png]( https://i.loli.net/2021/02/28/lVAWcaKXNex9b2i.png)

cryboy007

2021-02-28 17:59:07 +08:00

@himself65 嗯嗯。技术太菜了。发现是转 base64,解决了。0.0

cryboy007

2021-02-28 17:59:42 +08:00

@zoikhemlab 嗯，我抓的是里面的单词。已经找到了，嘿嘿

zszhere

2021-02-28 23:13:45 +08:00 via iPhone

用 burp 抓