V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
chendajun
V2EX  ›  Python

weixin.sogou.com 抓取微信公众号的文章,已经加了代理,还是很快就封掉。请问有好的办法吗?

  •  
  •   chendajun · 2016-11-25 15:55:09 +08:00 · 3682 次点击
    这是一个创建于 2913 天前的主题,其中的信息可能已经有所发展或是发生改变。
    9 条回复    2016-12-01 15:13:49 +08:00
    Biny
        1
    Biny  
       2016-11-25 16:06:57 +08:00
    代理池大一点,采集的程序分布在多台机器上面跑,采集的频率降低,慢慢采
    iannil
        2
    iannil  
       2016-11-25 16:10:52 +08:00
    搜狗抓公众号信息,文章去微信抓。我抓过上亿条,没有问题的。
    chendajun
        3
    chendajun  
    OP
       2016-11-25 16:58:12 +08:00
    @iannil “搜狗抓公众号信息”指的是在搜狗上抓公众号的功能介绍,微信认证这些信息吗? “文章去微信抓”具体能说说怎么抓吗?谢了!
    stone1342006
        4
    stone1342006  
       2016-11-25 17:17:19 +08:00
    同在搜狗抓微信公众号文章, 加代理没有被封 。 可能如同 @Biny 说的,代理的 ip 多一点就没可以了
    chendajun
        5
    chendajun  
    OP
       2016-11-25 17:20:07 +08:00
    @Biny
    @stone1342006
    代理不稳定啊,付费的也是经常掉。
    zhaoyue199508
        6
    zhaoyue199508  
       2016-11-25 17:30:33 +08:00
    @chendajun 花点钱上动态 vps
    Biny
        7
    Biny  
       2016-11-25 22:23:26 +08:00
    @chendajun 可以购买国外的 vps ,一般最少都带有 2 个以上的 IP ,一般 512m 内存的 VPS 国外的也就 30-40 块人民币
    tkisme
        8
    tkisme  
       2016-11-26 00:03:32 +08:00
    偷偷说一句,用电话拨号上网 ip 是不断变化的,那就意味着。。。
    yanzixuan
        9
    yanzixuan  
       2016-12-01 15:13:49 +08:00
    @iannil 弱问如何在微信里抓。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2702 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 11:59 · PVG 19:59 · LAX 03:59 · JFK 06:59
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.