V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
QKID
V2EX  ›  Linux

利用 Flask+Redis 维护 IP 代理池

  •  
  •   QKID · 2017-04-25 18:20:18 +08:00 · 2349 次点击
    这是一个创建于 2774 天前的主题,其中的信息可能已经有所发展或是发生改变。

    代理池的维护

    目前有很多网站提供免费代理,而且种类齐全,比如各个地区、各个匿名级别的都有,不过质量实在不敢恭维,毕竟都是免费公开的,可能一个代理无数个人在用也说不定。所以我们需要做的是大量抓取这些免费代理,然后筛选出其中可用的代理存储起来供我们使用,不可用的进行剔除。 阅读全文

    ryd994
        1
    ryd994  
       2017-04-25 21:27:54 +08:00 via Android
    循环队列 round robin
    leky
        2
    leky  
       2017-04-26 08:11:17 +08:00 via iPhone
    类似的实现 不过免费代理速度感人
    https://github.com/songjiz/proxy_pump
    xiongbiao
        3
    xiongbiao  
       2017-04-26 12:38:29 +08:00
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3644 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 10:40 · PVG 18:40 · LAX 02:40 · JFK 05:40
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.