求解, 用爬虫抓取链接时广告乱入

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 3599 天前的主题，其中的信息可能已经有所发展或是发生改变。

最近在用 python 抓取知乎的问题日志, 大概就是用 requests 库得到内容后再用 xpath 提取链接, 请求内容的时候用了代理. 刚才报错, 一看提取的链接里居然有广告...求问这是什么状况?

3 条回复 • 2015-12-04 20:58:20 +08:00

est

2015-12-04 20:13:34 +08:00

requests 默认自动 302 301 跳转。被运营商劫持之类第九回跳转到广告什么的。

binux

2015-12-04 20:26:03 +08:00

1. 有的代理,特别是免费代理,会往页面里插东西,或者整个返回的就是广告
2. xpath 写得太泛, 当获得不是真正的知乎页面的时候, 也会匹配到别的东西.

leiz

2015-12-04 20:58:20 +08:00

过滤一下不就完了