想要爬外面的网站，大佬们是用什么做代理池的呢

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› http://diveintopython.org/toc/index.html

› Pocoo

值得关注的项目

› PyPy

› Celery

› Jinja2

› Read the Docs

› gevent

› pyenv

› virtualenv

› Stackless Python

› Beautiful Soup

› 结巴中文分词

› Green Unicorn

› Sentry

› Shovel

› Pyflakes

› pytest

Python 编程

› pep8 Checker

Styles

› PEP 8

› Google Python Style Guide

› Code Style from The Hitchhiker's Guide

这是一个创建于 2049 天前的主题，其中的信息可能已经有所发展或是发生改变。

最近想要爬外面的网站，怕爬多了被封 IP，但是好像没有好用的 X 墙代理池，请问各位大佬是怎么操作的，哪里获取 X 墙代理，或者使用哪些方法不容易被禁 IP 呢

代理

大佬

请问

网站

14 条回复 • 2019-05-08 22:58:37 +08:00

Cschotdog

2019-04-16 21:49:02 +08:00

nanaw

2019-04-16 21:50:57 +08:00 via Android

套一层 fq 代理,再用国外的代理池

dsg001

2019-04-16 21:58:13 +08:00

vultr, 多开几个，用完就关

renmu123

2019-04-17 00:01:53 +08:00 via Android

有国外的代理池，你在 v 站上搜一下，记得有人介绍过

sxcccc

2019-04-17 04:00:52 +08:00 via iPhone

用 aws 的 ec2 自己架设代理多注册几个，弄成代理池下载 m.7zy.net 搜索

gimp

2019-04-17 08:30:12 +08:00

国外服务器 + 代理池，代理池想稳定得付费，价格看预算，或者自己买几个廉价 VPS 搭 SS 也行，看目标网站敏感程度

server

2019-04-17 08:35:24 +08:00

haipproxy 了解下，强推

agdhole

2019-04-17 08:50:11 +08:00 via Android

可以用机场，然后解析订阅地址，然后转成 http 代理，网上能搜到具体教程

boom7

2019-04-17 09:31:23 +08:00 via Android

去年接过国外几个期刊网站爬虫的外包，直接用了国外的付费代理…好像是每月 100 刀？快爬完的时候发现他们的代理被墙了，直接发邮件退款了😂

liuxu

2019-04-17 09:43:07 +08:00

@server 已经不被维护了

Honda

2019-04-17 12:07:36 +08:00

同求

server

2019-04-17 19:22:01 +08:00

@liuxu 挺好用的，改改又不是很困难； docker-compose 直接用

0yster

2019-05-08 22:07:19 +08:00

@agdhole 老哥，我一直有把廉价机场改造成代理池的想法。但是谷歌搜了很久都没有搜到前人写这个主题的文章。能否细说一下

agdhole

2019-05-08 22:58:37 +08:00

@0yster #13
用 socks5 to http 的工具(关键词 socks5 to http)
然后解析订阅地址(关键词 ssr 订阅解析)