新手刚开始学习爬虫不久,现在正在尝试使用 splash 来爬取用 js 渲染的动态页面,比如从
https://leetcode.com/problemset/all/ 爬取各种题目信息。
但是在
https://leetcode.com/problems/two-sum/ 这种页面中调用 response.xpath("//div[@class='css-1ponsav']")似乎并不能获取到任何信息,不知道是什么原因?
同理在
https://leetcode.com/accounts/login/ 登陆界面里试图调用 SplashFormRequest.from_response(response,...)来进行登陆操作的时候也会返回 ValueError: No <form> element found in <200
https://leetcode.com/accounts/login/>,似乎并没有抓取到表格信息?
本人不太了解前端,不知道这个跟 leetcode 用的 graphQL 有没有关系?还是因为其它原因?