这是一个创建于 3306 天前的主题，其中的信息可能已经有所发展或是发生改变。
写了个 python 程序通过请求 api 批量获取数据，放到 EC2 上跑了，刚开始半小时能处理上万条数据， EC2 里监控看到网络输出 5 分钟内平均也有 1.3M ，但是后来就变慢了， 12 个小时才处理不到 5 万多条，网络输出也降到了 0.3M ，之前以为是程序问题，但是后来在本地电脑上跑， 12 个小时都处理 15 万条了。是不是 aws 限制了我的带宽？可有办法破？一年免费计划的
 |
1
gamexg 2015-12-13 09:30:58 +08:00
api 是哪国的？
考虑过网络问题吗？ |
 |
2
nicktogo OP @gamexg 这个真没想到， EC2 是日本区， api 是美国的，组合有点奇怪。。可能还真是这个问题，不过我本机没翻墙
|
 |
3
oott123 2015-12-13 10:21:30 +08:00
感觉楼主的信用卡要爆
|
 |
5
aabbccli 2015-12-13 11:04:05 +08:00
你不会是在 EC2 上爬 AMAZON 产品吧
|
 |
7
initialdp 2015-12-13 11:25:00 +08:00 via Android
不一定是 ec2 的问题，也可能是对端限制了抓取。
|
 |
8
semicircle21 2015-12-13 18:14:22 +08:00
关注一下磁盘 IO, IO 也有漏斗算法, 不在乎预算可以试一下 Provision 的 IOPS 看看有没有改善.
|
 |
9
itopidea 2016-01-06 10:21:42 +08:00
我也发现了，现在打开越来越慢啊 http://freebt.org/
|
Select Language