有什么好的方法提高亚马逊 EC2 的上传速度

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

这是一个创建于 2763 天前的主题，其中的信息可能已经有所发展或是发生改变。

穷学生做深度学习，有 80 个 G 的数据需要上传。阿里云太贵了，所以选择了 AWS...但是速度有点感人... 希望大家能提供一个好的办法!

上传

深度学习

EC2

AWS

15 条回复 • 2017-04-24 23:08:13 +08:00

prondtoo

2017-04-24 18:37:50 +08:00 via Android

没钱还敢用 Aws ？我最怕这种按量收费的东西了

Hzzone

2017-04-24 18:45:19 +08:00

@prondtoo 相对来说 aws 要便宜得多：）

davidzhanwork

2017-04-24 18:48:27 +08:00 via Android

是本地上传到 ec2 还是 ec2 到其他呢?

后者可以开个速度快的 vps 中转一下

lyhiving

2017-04-24 18:48:56 +08:00 via Android

你的 ec2 在哪个区？最佳方案 GCP 开个 vps ，先将数据传到 GCP ，再同步到 EC2

davidzhanwork

2017-04-24 18:49:02 +08:00 via Android

后者 -> 前者

WilliamSang

2017-04-24 18:51:11 +08:00

可以使用基于 UDP 的，我以前用过穿过几个 TB 的数据： http://dev.cmcm.com/archives/184

Hzzone

2017-04-24 19:07:14 +08:00

@davidzhanwork 本地到 ec2

@WilliamSang 看起来很好，我还没试过，谢谢了

Hzzone

2017-04-24 19:19:43 +08:00

@WilliamSang 我是本地传到 ec2...

WilliamSang

2017-04-24 19:39:39 +08:00

@Hzzone 本地有外网 IP 的话很容易的。如果没有。。。
1. 使用 bz2 压缩，大幅减少体积
2. 上传到阿里云 OSS ，然后从国外拉取 OSS 数据，速度可以的

mianju

2017-04-24 20:31:02 +08:00

讲道理 aws 的 g2.2xlarge 速度还没有 750ti 快

visualwind

2017-04-24 20:33:48 +08:00

shaowsocks+final speed 试试

Jboys

2017-04-24 20:40:55 +08:00

选个快点的云主机，多压缩跟分片下。挂机。等国外上传完了，再传到 EC2 上，速度杠杠的~
或者可以按带宽开个国内的云主机，再传出去。开之前先测测速度。
青云按秒计费。

zhengxiaowai

2017-04-24 22:15:41 +08:00

aws 流量可不便宜。
国外大数据量，我之前是先传到七牛，然后再从七牛下载。。

Tink

2017-04-24 22:28:58 +08:00 via iPhone

本地传上去主要看你的上行吧

Alphabetcn

2017-04-24 23:08:13 +08:00 via Android

学生的话为啥不用教育网的 ipv6 ， 100M 上行不能更爽了