阿里云租几台机器做采集，有现成调度方案吗？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› DigitalOcean

这是一个创建于 3067 天前的主题，其中的信息可能已经有所发展或是发生改变。

打算租几台阿里云的服务器采集数据，好处是：多 IP ，带宽有保证。如果抓取的网站封 IP ，限时间，就再开一台云服务器。不知道有没有一个动态调度的方案，发现 IP 被封了，再开一台服务器获得新 IP ，再抓取。阿里云提供接口做这个吗？

阿里云

服务器

调度

采集

18 条回复 • 2016-06-26 23:00:19 +08:00

fcicq

2016-06-26 14:23:12 +08:00

封到 /16 的 block 的话就抓瞎了, 明摆着人家能看到你是租的

l0wkey

2016-06-26 14:24:06 +08:00

用弹性 IP

ZGLHHH

2016-06-26 14:27:22 +08:00

为什么不买拨号 VPS 呢

rekulas

2016-06-26 14:52:45 +08:00

可以自己写脚本，封了自己申请 vps ，镜像复原

但是还是没有代理来的方便便宜，直接购买代理多线程抓取，也不怕封价格也便宜

lmaq

2016-06-26 16:04:25 +08:00

阿里云有 API

crab

2016-06-26 16:35:47 +08:00

@rekulas 现在代理不管付费还是免费，大部分都是失效快响应慢。这种用带 ADSL 拨号的 VPS 是最合适的。

odirus

2016-06-26 18:01:20 +08:00

阿里的 API ？反正我是挺讨厌的。

但他有个弹性伸缩服务，能够定时伸缩服务器数量。制作好镜像，然后从镜像中安装系统

但有个问题，他的最小时间粒度貌似是小时（前段时间验证的，现在不知道改没有）

可以考虑一下国内其他的云，秒级调度 + 弹性伸缩，不知道青云是不是？好奇，求解答

aheadlead

2016-06-26 18:06:36 +08:00

@odirus 青云是的

boter

2016-06-26 18:28:45 +08:00 via iPhone

直接买袜子多好

nine

2016-06-26 18:35:14 +08:00

http://www.kuaidaili.com/

tangzhehao

2016-06-26 19:14:20 +08:00

@odirus 有谁家可以纵向弹性伸缩么？也就是增配不增量。
@aheadlead

aheadlead

2016-06-26 19:28:44 +08:00

@tangzhehao 这连个 VPS 都可以吧… 青云肯定是可以的

zava

2016-06-26 19:58:17 +08:00

不用这么麻烦吧，直接买一些 http 代理，便宜量又足。当然可用率是要打点折扣的。
我用过的几个比较靠谱的 http 代理：

1. 快代理： http://www.kuaidaili.com/
2. 中国 IP 代理： http://cn-proxy.com/
3. 酷伯伯 HTTP 代理： http://www.coobobo.com

另外，如果都使用阿里云的 IP 进行采集，也不一定是 100%可靠，具体就不细说了……

tangzhehao

2016-06-26 19:59:48 +08:00

@aheadlead 不是，要自动的，就像弹性伸缩一样，譬如监控连报 3 次 CPU>85%，那就立马升配一核。

TangMonk

2016-06-26 20:06:33 +08:00

青云关机只收取硬盘费用，不做 web 服务，只做采集的话可以定时关机，还是挺划得来的

odirus

2016-06-26 20:49:01 +08:00

http://www.freeproxylists.net/zh/

这个代理质量高很多，快代理那个质量。。。买过，不会再买了。

aheadlead

2016-06-26 21:59:33 +08:00

@tangzhehao 阿里云有个 ESS 可以动态加机器数量（横向扩展）
貌似也是支持你想要的纵向扩展你可以试着去看看

其实这个不难写啊如果只是临时用用的话一个 python 脚本也就搞定了

moult

2016-06-26 23:00:19 +08:00

腾讯云，后台有弹性 IP ，可以随时变 IP~~