爬取 leetcode 题目疑问

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

这是一个创建于 484 天前的主题，其中的信息可能已经有所发展或是发生改变。

各位佬，我要爬取下面这个页面的超链接以及里面的文本： https://leetcode.cn/circle/discuss/mOr1u6/，但是在开发者工具的 network 中的第一个请求的 response 的源代码没看到网页中超链接以及对应的文本内容，请问我该如何找到这些超链接的具体位置呢

3 条回复 • 2024-05-27 16:57:48 +08:00

1018ji

2024-05-27 11:35:54 +08:00

graphql 接口找找

Aoyu

2024-05-27 16:50:36 +08:00

用无头浏览器 selenium 配合 xpath 最为便捷。

yjfkk

2024-05-27 16:57:48 +08:00

graphql 需要 token ，单独发请求也无效，用浏览器渲染页面，获取 html 再解析