又创造了一个轮子， C#版本的搜狗微信公众号抓取

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2631 天前的主题，其中的信息可能已经有所发展或是发生改变。

网上看到又不少类似的轮子，但是大多都是 Pyhton，于是撸了一个 C#版本的WeGouSharp (即 Wechat+ Sogou + Csharp)

暂时采用 HtmlAgility 解析 html

目前已经完成了基本部分

但是仍然存在一些小骨头没啃，比如有个验证码的没能重现(望指点)

还有自动打码，等等，可能会采用 OpenCv/EmguCV 识别验证码，不知道可行性怎样

现在公开请各位大佬批评，点星或者来叉

项目地址

验证码

轮子

pyhton

opencv

16 条回复 • 2017-09-15 19:19:13 +08:00

ospider

2017-09-13 20:41:22 +08:00

不可行, 搜狗的验证码很变态的

WeaPoon

2017-09-13 21:33:16 +08:00

加油~~哈!

justtery

2017-09-13 21:39:15 +08:00 via Android

辛苦了，用 c 艹写爬虫。写个简单的页面抓取都需要写超级多行。并不想打消楼主的积极性

lyhiving

2017-09-13 21:55:02 +08:00 via Android

可以过得了验证码这一关算我输

levon

2017-09-13 21:58:44 +08:00

我解析 html 用 csquery，虽然不更新，但感觉超级简单。就跟使用 jquery 一样去获取元素

Choyes

2017-09-13 22:35:17 +08:00

之前爬过搜狗的微信公众号文章，不过我并没有去处理验证码，而是通过代理来绕过。

wqxuan

2017-09-13 23:19:28 +08:00 via iPhone

@Choyes 请问下用的哪家代理？最近试用了一家的入门级公开代理（付费），效果很差。

yangyaofei

2017-09-14 00:20:46 +08:00 via Android

话说微信公众号的评论怎么抓取呢？

Choyes

2017-09-14 08:50:03 +08:00

@wqxuan 我是去抓取免费的代理，然后自己维护一个代理 ip 池.参照这边 https://github.com/jhao104/proxy_pool 用 c#做了个简单的代理 ip 池

missdeer

2017-09-14 09:02:20 +08:00

过不了验证码关就没什么用

naomhan

2017-09-14 09:51:49 +08:00

验证码我们公司有人用 tensorflow 训练了个模型好像识别率还可以

VShawn

2017-09-14 10:21:01 +08:00

为什么要爬微信公众号？

ljcarsenal

2017-09-14 10:33:59 +08:00

@VShawn 我也有疑问不过最先做这个的传送门的确是火起来了

finalsatan

2017-09-14 13:19:40 +08:00

@naomhan 有训练数据集可以分享下吗，最近也在做这个，数据量不够，自己生成的验证码总感觉和搜狗的不太一样。谢谢了先。

naomhan

2017-09-14 14:27:12 +08:00

@finalsatan #14 不断请求验证码那个链接就有了

hluo7054

2017-09-15 19:19:13 +08:00

@ljcarsenal 发现传送门貌似已经一个多月没更新了，所以才发了这个出来