V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
cryboy007
V2EX  ›  问与答

请教一下关于爬取 vue 页面

  •  
  •   cryboy007 · 2021-02-28 13:50:18 +08:00 · 3079 次点击
    这是一个创建于 1368 天前的主题,其中的信息可能已经有所发展或是发生改变。

    直接抓取页面,显示的是 vue 的代码。网上查了下,没有解决方案。原因是:因为是动态的,传输的是 json.因此只能知道 api 才能拿到数据。那这样的话,如果它的 api 未开外网,是不是代表无法爬取了。只能在浏览器中使用 javaScript 抓取。

    15 条回复    2021-02-28 23:13:45 +08:00
    wolfan
        1
    wolfan  
       2021-02-28 13:51:24 +08:00 via Android
    既然有 json,为什么不直接搞它?
    coolcatha
        2
    coolcatha  
       2021-02-28 13:52:10 +08:00 via iPhone
    如果 API 没开外网,你打开 vue 的网页也看不到内容。只要你能看到内容你就能抓
    cryboy007
        3
    cryboy007  
    OP
       2021-02-28 14:00:26 +08:00
    @wolfan 技术太菜,没找到请求。。。
    cryboy007
        4
    cryboy007  
    OP
       2021-02-28 14:01:41 +08:00
    @coolcatha 这样的话,我在找找 0.0
    FreeEx
        5
    FreeEx  
       2021-02-28 14:09:02 +08:00
    打开控制台,选择 Network,点击下面的 XHR 过滤异步请求。
    cryboy007
        6
    cryboy007  
    OP
       2021-02-28 14:21:32 +08:00
    stx0821
        7
    stx0821  
       2021-02-28 14:56:00 +08:00
    puppeteer
    Ptu2sha
        8
    Ptu2sha  
       2021-02-28 15:01:29 +08:00
    发个链接 有时候数据可能是 js 后缀返回的
    crab
        9
    crab  
       2021-02-28 15:39:30 +08:00
    除非数据是通过 js 又处理的,直接用浏览器渲染方便。
    cryboy007
        10
    cryboy007  
    OP
       2021-02-28 16:50:25 +08:00
    @stx0821 没听说过。
    @Ptu2sha 其实就是杨中科大佬的学单词网站、https://bdc2.youzack.com/
    @crab 不是很懂。。。
    himself65
        11
    himself65  
       2021-02-28 17:16:06 +08:00 via iPad
    题主可能技术水平不够没有描述清楚,看你的意思就是前后端是分离的,前端是靠 get 方法获得数据的 JSON 的。

    大概就是抓一下包,看看需要什么 header 就行了,理论上什么语言都可以抓
    zoikhemlab
        12
    zoikhemlab  
       2021-02-28 17:35:45 +08:00
    不就是这个么 ?
    ![2021-02-28 17-32-01 屏幕截图.png]( https://i.loli.net/2021/02/28/lVAWcaKXNex9b2i.png)
    cryboy007
        13
    cryboy007  
    OP
       2021-02-28 17:59:07 +08:00
    @himself65 嗯嗯。技术太菜了。发现是转 base64,解决了。0.0
    cryboy007
        14
    cryboy007  
    OP
       2021-02-28 17:59:42 +08:00
    @zoikhemlab 嗯,我抓的是里面的单词。已经找到了,嘿嘿
    zszhere
        15
    zszhere  
       2021-02-28 23:13:45 +08:00 via iPhone
    用 burp 抓
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1209 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 18:16 · PVG 02:16 · LAX 10:16 · JFK 13:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.