现在的公众号还能爬到信息吗

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 1511 天前的主题，其中的信息可能已经有所发展或是发生改变。

想学习一下爬虫，爬点公众号的文章，大佬们有什么建议吗，只需要大概的可行的方向就行，剩下的自己去研究。

网上搜到的方法都是比较老的信息，一般都不能用了

公众

大佬

可行

爬

13 条回复 • 2020-09-29 19:01:20 +08:00

kof21411

2020-09-28 19:27:03 +08:00

爬虫写得好，坐牢坐得早，别惹南山必胜客！

pandait

2020-09-28 19:37:29 +08:00 via Android

搜狗的微信搜索，有入口。

crclz

2020-09-28 21:51:07 +08:00

几个月之前爬过，方法是用 pc 微信客户端，打开某个公众号，然后人工用鼠标往下滚动，然后右键-查看源代码，然后保存为文件，用 python 解析 dom，就可以找出地址列表。有时候请求多了，会封禁那个入口 24 小时，换个号就行了。

搜狗的微信搜索能够搜索到的极其有限。

mlhadoop

2020-09-28 23:32:27 +08:00

@crclz

```
try {
const maxScroll = Number.MAX_SAFE_INTEGER;
let lastScroll = 0;
const interval = setInterval(() => {
window.scrollBy(0, 100);
const scrollTop = document.documentElement.scrollTop;
if (scrollTop === maxScroll || scrollTop === lastScroll) {
clearInterval(interval);
//resolve();
} else {
lastScroll = scrollTop;
}
}, 1000);
} catch (err) {
console.log(err);
//reject(err.toString());
}
```

不用手滑