如何将加拿大服务器上总计 200T 的文件传输到国内？

[j0ck1e]

网络环境

加拿大服务器公网 10G 带宽 国内服务器公网 5G 带宽

遇到的问题

由于链路距离过长，直接下载速度只能达到 100Mbps

以了解过的解决方法

1. 购买阿里云 OSS ，通过闪电立方将数据传输到阿里云 OSS 美国节点上，然后数据内部同步到国内的 OSS 节点，最后用国内服务器下国内 OSS 节点上的数据，这个方案价格太高，需要支付存储包流量包费用近 20W
2. 购买阿里云 CDN 服务，这个方案能否实现还不清楚

感谢各位的解答。首先200T的数据是确有其事并非杜撰，其次最新进展是已经联系香港电信运营商开通一台1Gbps带宽的服务器进行测试，加拿大到香港最大带宽能达到多少还需测试，如果能跑满1Gbps就将国内服务器寄过去下载好再托人带回国内，最后说明一下我的测试方法

1. 用speedtest测试线路带宽是否达标
2. 从香港节点用axel多线程下载加拿大的数据

第二点应该用iperf3测试香港到加拿大节点带宽，但是加拿大运营商负责人没有同意使用iperf3测试

各位除网络链路之外可能会提到的瓶颈

1. cpu是48核心的处理器，所以cpu性能是够的
2. 磁盘做了阵列，写入速度能达到16Gbps/s（注意是小b，换算成大B是2GB/s）

[wy315700]

买硬盘存进去然后找个人坐飞机带回来

[throns]

@wy315700 现在回国的成本也很高，机票都要大几万

[mosfet]

固态硬盘，快递回去

[C603H6r18Q1mSP9N]

买硬盘，加密数据，然后快递寄回来

[lower]

@wy315700 机票得估计 6w+，买硬盘也得 2w+，算下来也得小十万了……🤣

[j0ck1e]

@shanghai1998
@mosfet
硬盘里面有数据过国内海关可能不让过，而且这次传输完后以后可能还会传输一点数据

[8520ccc]

预算多少？外包吗？ 我可以承接这个服务 需要可以联系我

[lxr760]

感觉装硬盘里快递回来反而比走网络传输要来的快

[hoythan]

把文件拆分成 1gb/份 分批上传下载。

[GeorgeGalway]

你好移民考虑一下

[hoythan]

购买 10 个 1tb 不限速网盘账号 VIP 。文件拆分成 1gb/ 份上传到网盘，国内下载。下载完毕清空网盘循环往复。

[docx]

找个速度快的服务器中转？

[huaes]

去江浙找个机房下，内地机房就有这个毛病速度就是不如出海口速度快

[hoythan]

我家 1000mb 宽带，试过网盘下载 1tb 文件要 4 个小时。写了个小工具下载完毕就删除网盘内容。

用的是企业版百度网盘，免费版容量只有 50gb 。但是优势是不限速。写了个小工具自动删除下载完毕的文件，然后另外一边排队上传。

你 200tb 不算上传时间光下载得一个月。 优势是基本上不花钱。

[hoythan]

@hoythan 哦 5g 能跑满的话一周就够了。

[pxiphx891]

第一步，把 200T 的文件切割成 1MB 的片段，共计 2 亿片
第二步，号召 2 亿网友，每人帮你从加拿大机器下载 1MB ，然后上传到国内服务器
第三步，合并 2 亿切片
如果你能免费号召到 2 亿网友，我可以号召 2 个 v 友免费给你编写转发软件。
按照你 10G 的公网下载带宽，预计需要 44 小时。

[BingoXuan]

刻录在空白的蓝光光盘里面，然后重新打包一下，当成普通空白蓝光光盘发快递就行

[pxiphx891]

或者数据加密后装磁带里呢？海关检查磁带吗？

[huaes]

你看全国各地机房速度天差地别，哪怕电信专线它也是过 163 汇聚，速度上不去的，CN2 倒是可以做到全国速度差不多，但是得加钱加钱加钱

[paopjian]

巨量数据还是空运比较方便,或者找个人去香港下好再入境?

[junas7]

@pxiphx891 哈哈哈把大象装到冰箱里有需要几步呢

[superchrisliu]

@pxiphx891 开发转发软件 我也要参加！！

[makelove]

国内的云服务下载似乎是不用流量钱的吧，在云上建一堆轻量机子一起下载占满 10G 应该很轻松

[j0ck1e]

@huaes 国内服务器在江苏

[j0ck1e]

@hoythan 从加拿大上传到网盘估计够呛，国内国外通用的网盘几乎没有

[mingl0280]

买固态，快递。这是最便宜的方案了。

[i0error]

周经问题。。。要不提问前先搜索一下？

[huaes]

@j0ck1e 去上海机房，要么就联系电信直接去电信机房下，线路问题他们会给你解决的，费用绝对比其他方案小

[6IbA2bj5ip3tK49j]

试试澳门 /香港中转？
加拿大-光纤-澳门 /香港-人肉-国内

[vocaloid]

搞个短期 iplc 不过价格估计也要小几万

[zhs227]

上次那个哥只有 30T ，这回 200T 了。传送大量数据确实是成本非常高。还是能寄就寄。

[Titzanyic]

- 搭建 Aspera 可以点对点高带宽利用率，解决传输效率的问题；
- 200T 存储也是个问题；
- 普通的千兆宽带总时间也很长，还需要千兆以上的带宽；

[huaes]

反正国内机房都要过 163 汇聚，接入线路也是分国内外优化的，这是机房跟运营商谈的你解决不了，去香港也是一样的，不如直接找运营商，跳过中间商

[huaes]

@Titzanyic 这是出海啥技术方案都没用的，宽带再大也给你 QOS

[bxb100]

好像往国内单 IP 传输流量过大有可能直接被黑洞

[hyrepo]

可以看看 AWS Snowball ，适用于 10TB-10PB 级别的数据迁移，AWS 会直接给你寄个硬件过来，你传完数据给他们寄回去，然后他们帮你同步进 AWS 里，没记错的话他们也支持云上的数据往线下迁移。

[ymmud]

国内多弄点机器 bt 下载

[ayukas]

我看还是买个 SSD 然后复原包装标签冒充新品再附个 invoice 最便宜

[txydhr]

任何网络都跑不过装满硬盘的卡车

[zanzhz1101]

我觉得直接上 bt 吧，自己搭个 tracker ，开几个服务器作为中转，问题应该不大

[leavic]

加密分包压缩成 2000 份，找几百个网友众包下载然后上传拼接

[zanzhz1101]

@txydhr 他这个可能得上船或者飞机哈哈

[zanzhz1101]

@j0ck1e 上 bt 吧，开几个 ovh 和 do 的机器，几个大盘鸡 10T 的也没多少钱，分片下载，自建个 tracker ，国内也整几台设备分片，会快不少

[hichinaman]

我在香港使用宽频光纤可否帮到你？

[zanzhz1101]

@hichinaman 往国内的速度估计一般吧，流量大了容易被 q

[cmdOptionKana]

空运贵也许可以考虑船运？

[cloudsigma2022]

就没人关心，200t 是个什么数据，视频吗？ sex?

[libook]

可以咨询一下海关，如果邮寄这种存有业务数据的硬盘入境的话，需要走哪些手续，这块能搞定的话，也就十几块硬盘的事情了。

实在想要用网络传输，估计就得找运营商谈了，跑满带宽也得三天左右才能传完。

[zengguibo]

20T 的硬盘一个 4000 块，只需要 10 块*4000= 4 万块，再加上运费，拷完再将硬盘卖掉，估计费用可以接受

[www5070504]

所以更想要的速度还是价格便宜

[lslqtz]

多线程跑啊……

[lslqtz]

@zanzhz1101 BT 其实比多线程拉慢。

[liprais]

寄个硬盘是最快的

[infuse]

@zengguibo #49 硬盘不允许国际快递

[zanzhz1101]

@lslqtz 但其实可以多设备跑满呀，快速拉出来

[lslqtz]

@zanzhz1101 点对点不会存在多设备，这不是点对多点的需求

[abc0123xyz]

@pxiphx891 #16 都能号召 2 亿网友了，还差这点钱，直接割 2 亿韭菜

[zanzhz1101]

@lslqtz 单链路多线程不一定跑的满

[lslqtz]

@zanzhz1101 我德国服务器到国内轻松跑满 100MB/s 。

[sampeng]

任何国家的数据，原则上是不允许你跨国家直接人肉带。
所以只有下载这一条路。。。

[sbrdfewxf]

Resilio

[datou]

200T 还是打包分卷多线程直连慢慢往回拖吧

[zanzhz1101]

@lslqtz 本地单设备能跑满 5G 吗，不太现实

[infuse]

在加拿大、美国等地区找 10 台服务器。最好买高带宽保障的。然后这些数据分批次、先在四台机器之间来回打。等出种之后、用大陆的服务器 Peer 他们。

[Ashore]

好奇是什么数据

[lchynn]

@pxiphx891 不用 2 亿网友， 哪怕有 200 万网友愿意用这个转发软件帮助下载，期间能插入广告的话， 应该有 2000 个公司肯做这个软件。

[SenLief]

我们这边的带宽有大带宽的嘛？没有的话可以去澳门那边啊，现在过去又容易。

[fregie]

把数据存进一堆蓝光光盘或者大容量硬盘中作为 OLD_DATA ，然后在硬盘中放一个 inscryption 游戏，伪装成游戏运回国内

[ShuA1]

顺丰在北美有业务，考虑一下吧

[c0xt30a]

可以考虑：
1. 在国外机器上开几（十?）个 syncthing 把文件分开扔进去。
2. 在国内多台机器上开 syncthing ，每台机器同步一个 repo 。

[AlphaTauriHonda]

在比赛数据量吗？都到 200T 了，分明是超英赶美，放传输卫星。

邮寄硬盘吧，这个最快。

[rrZ2C]

我 X..... 就算是买硬盘都得好多钱

[louisxxx]

GIA 宽带能跑几 Gbps 一秒；

[louisxxx]

GIA 宽带能跑几 Gbps 一秒 1Gbps GIA 宽带要 5K 刀 /月。还得传半个月。即使用硬盘存了寄回来，你也要考虑数据往硬盘里写和从硬盘里读取出数据，也需要非常久的。
数据传到 XG 然后人 带硬盘回来应该不错

[louisxxx]

@sampeng 可以发快递，批量订购硬盘一次都是上百块跨国发货的。但是数据你得加密，不然有很大地风险

[lower]

@pxiphx891 发布一种私有的种子和种子专门下载器，骗大家就说全是珍藏的小电影，吸引人来下载；然后下载器偷偷来搞分布式转发。。

[sampeng]

@louisxxx 200T 数据通过硬盘运回来难得不是怎么运，可以发快递也是要看对应国家的相应政策，有些国家连服务器都不让出来。另一方面。。你要把 200T 数据弄出来，硬盘不可能就准备 200T 的硬盘。压缩问题？加密问题？怎么冗余存储。但凡中途有一块硬盘出因为运输出故障，这 200T 就白瞎。还要校验 200T 数据的有效性，不可能完全不校验的。。。。

数据传输的商业服务真不是白收你这份钱的。

[rayn32]

直接在这服务商买台服务器，这个流量便宜些
https://www.maxihost.com/

[zeusho871]

说个方案，买腾讯云轻量云中转到你服务器，100 块钱一个月我记得是 6mbps 带宽 1000g 流量，通过腾讯云中转到国内服务器，只需要 200 台这种轻量就可以达到 1200mbps 带宽，传输 200*1000g 数据(轻量服务器貌似是出流量计费)，找代理买可能还可以打折，就是不知道会不会是假带宽。具体细节可能还要优化下。楼主可以看看....

[louisxxx]

@zeusho871 腾讯云那机器 1 天里有半天连接国外就几十 KB/s

[Xusually]

@infuse 怎么可能？我手里海淘的硬盘是怎么来的呢？
每年美亚、德亚大容量硬盘都算镇店之宝了

[zeusho871]

@louisxxx 不至于，买深圳或者香港的速度跑满没问题。。。主要没国外机器给我测，现在手里就有几十台。。。。

[NoahNye]

ipfs 可以试试

[huaes]

@zeusho871 不提香港大口子机器贵的要死， 走不走港深还是个问题，绕上海还是被 QOS 的死死的，哪怕移动这种直连的跑到 1G 也不错了，说真的不如直接找运营商在他们机房下

[teasick]

每个 G 10 块钱众包给网友帮忙下载，也就 200 万块钱

[msaionyc]

两百个 one drive 账号应该就可以了

[kxjhlele]

私聊我，给你开个国内 ftp ，你测试一下速度。感觉合适在继续讨论

[ToBeHacker]

优化 TCP 的参数 5g 的带宽多跑跑就可以了

[winglight2016]

lz 去 tb 搜一下代下载服务就知道这事儿多简单了

[spacezip]

踏实找个物流公司 正经报关进来

[12101111]

硬盘不抗震, 买磁带, LTO8 不压缩能存 12T, 压缩之后更大, 十几卷磁带就能带回来.
不过海关如果知道这是存储设备可能会检查内容

[acupnocup]

磁带机，飞机或者海运带回来。

[xuchenkai]

200T ，大也不算大，几个网盘帐号即可

[aru]

申请几条联通宽带，直接下载就行了
服务器记得开启 bbr

[bullfrog]

两个服务器直接连，用 lftp ， 开几十个线程，就跑满了

[Buges]

1. 很多存储提供提供商提供邮寄硬盘服务，你可以把硬盘寄到他们的数据中心然后从他们服务器上拉下来。
2. （两边在线存储都够的情况下）直接开个支持分片、校验、多线程传输的协议慢慢拉回来就是了，bt 、bt sync 等都可以。你还可以在其他有更多出国口宽带的服务器上辅种加速。

[cxytz01]

如果你愿意花时间研究的话，推荐你看看 filecoin ，目前有免费的存储提供商： https://plus.fil.org/ 。

这只是我的小小建议，价格可能会便宜过中心化的存储服务商，但是速度嘛，可能你得找存储提供商聊聊。

[wsycqyz]

欢迎使用 Azure 导入 /导出服务
可将磁盘驱动器寄送到 Azure 数据中心，从而安全地将大量数据导出到 Azure Blob 存储和 Azure 文件。 此外，还可以使用此服务将数据从 Azure Blob 存储传输到磁盘驱动器，然后再寄送到本地站点。
存储价格参考： https://azure.microsoft.com/en-us/pricing/details/storage/blobs/，目测 200T 不到 500$
另，一块磁盘收取 80$处理费。

[cxytz01]

目前还不清楚你文中提到：由于链路距离过长，直接下载速度只能达到 100Mbps 。这个所谓的直接下载是使用什么方式进行直接下载？如果是 ftp ，http 这种，都是单线程的，不知道是否可以吃满本地亦或者 server 二者中最小的那个 IO ，如果吃不满，需要考虑多线程下载。

[fs418082760]

做成种子发到 P 站，然后通过 P2P 回传...