这是一个创建于 1024 天前的主题，其中的信息可能已经有所发展或是发生改变。
一堆医学图片数据，合作学校提供了一个 HTTP 服务下载，每压缩包 300M 。 最理想大概是有人能在当地下载然后把硬盘带回来，但大概联系不到这样的人。用电信 100M 光纤直接下的话起初速度 30MBit/s ，但过一段时间会降到 2MBit/s ，感觉是网络波动降的速度。
请问这个大小的数据用哪类服务加速下载比较方便省钱？如果用 VPS 、GN2 等中转的话怎样配置？
第 1 条附言 · 2022-03-04 12:46:41 +08:00
补一个难点是对方提供了一个程序下载，完整文件平均每个 3G ，这个程序以单线程的方式顺序下载多个 300M 的压缩包，下完了再拼起来，然后有时中间哪个 300M 下一半掉速中断的话，用它的程序 3 个 G 要重新下载。
我抓包这个程序实际是访问一个 Apache 服务器走的 POST 方式的 HTTP 下载，会记录下载 IP 但应该不会做拦截，我目前是想拦截它的请求然后改用 curl 下载，后面再让它拼。
我抓包这个程序实际是访问一个 Apache 服务器走的 POST 方式的 HTTP 下载，会记录下载 IP 但应该不会做拦截，我目前是想拦截它的请求然后改用 curl 下载，后面再让它拼。
 |
1
bankroft 2022-03-04 11:38:21 +08:00
网盘中转呢
|
 |
2
iold 2022-03-04 11:38:33 +08:00  4
寻个当地的留学生，给些钱，帮邮寄一下。
|
 |
3
xwayway 2022-03-04 11:42:16 +08:00
1. 没有鉴权，七牛买个 cdn ，自己绑个域名上去，设置个回源地址就下载了。
2. 如果下载是有鉴权的话，自己搞个海外服务器，当下载机，再转回来，可以通过方案 1 |
 |
4
mineralsalt 2022-03-04 11:42:30 +08:00
多搞几个 IP 去下载
|
 |
5
zhs227 2022-03-04 11:43:02 +08:00
按亚马逊$0.12 每 GB 的 EC2 流量，1T 流量的费用差不多是 800 人民币 ，传送 20T 的成本大概是 16000 元（不计重传和传送失败的消耗）。走 S3 存储+CDN 会快一些，但是费用仍然不低。弄个硬盘拷好了寄回来是最佳选择。从成本算还可以白得 20T 硬盘。
用 VPS 的话，一般的 VPS 都有月限额，从 100G 到几 T 不等，但还没有看到月配额有 20T 的机器。 |
 |
6
dreamer8933 2022-03-04 11:46:01 +08:00 via iPhone
需要我帮你转吗？我可以帮你转去 od ，国内 od 应该满速吧
|
 |
8
wanwaneryide 2022-03-04 11:48:39 +08:00
弄个电信带宽提速的，包月差不多 20 左右吧。提到 500M 试试，整天挂着传数据
|
 |
9
ilylx2008 2022-03-04 11:51:31 +08:00
北京联通，千兆带宽，按 50MB/s 计算，十多天就下完了。
|
|
10
wanwaneryide 2022-03-04 11:51:43 +08:00
或者弄那种节点代理啥的，速度应该能快很多
|
|
11
wanwaneryide 2022-03-04 11:52:58 +08:00
网盘不是有那种离线下载嘛，试试能不能用，能用的话，开个超级会员，估计就是最便宜的方案了
|
 |
12
nkloveni 2022-03-04 12:14:05 +08:00
找我帮你传，能给多少钱？
|
 |
13
matolv 2022-03-04 12:23:22 +08:00 7
区区 20T ，如果对保密性没要求，去 Hostloc 上出钱，让人竞标，价低者得
|
 |
14
datou 2022-03-04 12:24:30 +08:00
现在国际邮件时效基本没保障
朋友十月底在德亚下单的东西过年期间才到 还是慢慢下载吧 |
 |
15
MacDows 2022-03-04 12:28:58 +08:00 via Android
Dropbox 开一个月就行了
|
 |
17
liulongquan 2022-03-04 12:36:02 +08:00
@zhs227 弄个香港家宽虚拟独立服务器，也就一个月千把块，流量不限，上下千兆对等，hkt 比较好
|
 |
18
terryops 2022-03-04 12:37:22 +08:00
我这白天有 2G 的移动 IDC 带宽空闲，不知道直接下载速度怎么样。没有保密性的话可以帮你试试
|
 |
19
laqow OP @bankroft @wanwaneryide 网盘估计没这么大的，买这个大小的网盘大概和租个 VPS 差不多了
@xwayway @zhs227 对方提供了一个程序下载，但抓包是一个 Apache 服务器走的 POST 方式的 HTTP 下载，会记录下载 IP 但应该不会做拦截，我目前是想抓包它的请求然后改用 curl 下载。像这种方式的只租 CDN 能下的回来吗？还是必须中间经过一个下载机？ @dreamer8933 OD 是什么？ @wanwaneryide @ilylx2008 感觉主要问题是掉速，因为是单线程的 POST 请求，估计是中间哪个环节掉速。如果电信有类似速度保护之类的服务升级就好了。 @nkloveni 我想 1000 以内能实现 10Mbps 以上稳定下载就好了，超了就放那挂着下算了，反正 2Mbps 也不是不能下 |
 |
20
lizhiqing 2022-03-04 12:44:39 +08:00 via iPhone
用云中转 yunzhongzhuan.com
|
 |
21
SenLief 2022-03-04 12:49:06 +08:00
已经分好了包的，那很好处理的。不要求速度的话，用网盘就拉回来了。弄个 OneDrive 5t 的，国内和国外都可以满速的跑。
|
 |
22
Mateverse 2022-03-04 12:51:19 +08:00
我之前（ 17 年底和 18 年）的方案：也是几十 T 的数据压缩的小 zip 包，我选择了 QQ 邮箱，国外下载速度出奇的快…
当然你可以试试，我并不确定现在国外的上传和下载速度。 |
 |
23
ad54392126 2022-03-04 13:27:08 +08:00
你要在上海我帮你下，家宽 cn2 精品网千兆不限速。或者去弄个阿里云香港来下载通过内网传到 oss ，带宽和容量都足够，再通过香港 oss 传到国内的 oss 。
|
 |
24
q197 2022-03-04 13:29:25 +08:00 via Android
可以直接下载就加线程，只要网络互连不太差速度能跑满
|
 |
25
isnullstring 2022-03-04 13:53:02 +08:00
要不试试 OneDrive
|
 |
26
sujin190 2022-03-04 14:09:34 +08:00
走国外数据大了太容易断了，如果他们提供的下载程序不能分包的话，还是建议国外再弄台机器下载下来用 resilio 来同步，或者你可以下载好拆成小包加密然后众筹一下看看有没有人愿意帮你下载好再给你，当然国外的带宽也要弄大一点
|
 |
27
paradoxs 2022-03-04 14:11:34 +08:00
百度超级会员，难道不是最好的方案？
下载几乎能保证满速 |
 |
28
macy 2022-03-04 14:25:47 +08:00
家里千兆网络限制，可帮忙代下，但是我硬盘没那么大，上传 100m 左右，可以边下边上传到阿里云，应该很快
|
 |
29
tms 2022-03-04 14:27:29 +08:00
优化下自己的线路挂着慢慢下吧。
|
 |
30
dabaibai 2022-03-04 14:31:25 +08:00
买硬盘 寄过来
|
 |
31
jsyzdej 2022-03-04 14:46:05 +08:00 via Android 1
寄硬盘应该不太可能，有些快递要求硬盘类产品必须为空盘，操作系统都不准有。
不如试试买一个月抛 AWS 或者月抛 az 拉数据 |
 |
32
FrankAdler 2022-03-04 14:48:51 +08:00
我觉得可能做成种子，每个种子 1t ，20 个种子，就挂着下载，可能比 http 要便捷，损耗还小
|
 |
33
bclerdx 2022-03-04 14:56:56 +08:00
我艹，20TB 的数据量确实不小。
|
 |
34
ch2 2022-03-04 14:58:15 +08:00 via iPhone
我记得电信下载用量达到 1T 就强制降速，20T 先不说对面能不能传过来，恐怕你自己的宽带都已经被降成蜗牛了
|
|
35
ch2 2022-03-04 15:04:10 +08:00 via iPhone
如果你的宽带不降速的话，推荐买一台 buyvm 的不限流量的 VPS 月抛搭一个 hysteria ，然后用 proxifier 强制你的下载程序使用 hysteria 代理，这样可以保证差不多可以一直跑在 100M 左右
|
 |
36
uncleroot 2022-03-04 15:12:36 +08:00
应该找个下载器开分片下载速度就稳定了。
|
|
37
ch2 2022-03-04 15:14:23 +08:00 via iPhone
上面是 ovpn ，下面是 hysteria
 |
 |
38
laoyur 2022-03-04 15:28:32 +08:00
问题是你希望多长时间内搞定
锅内单条宽带突击搞 20T 下载，确实风险大的 你可以找朋友均摊了下载，最后再移动硬盘寄给你 至于直连效果不行的话，走中转比较好，但是你这数据量有点大 去 hostloc 找几个 MJJ 租几个甲骨文给你开个转发吧 |
 |
40
wtdd 2022-03-04 16:04:11 +08:00
家用宽带降速问题是短板，硬盘何必找人带，直接寄就可以吧
|
 |
42
Fantasia1993 2022-03-04 16:31:38 +08:00
直接寄硬盘吧~速度最快~2 个 10ti 的 3000 不到
|
 |
43
DTCPSS 2022-03-04 16:34:01 +08:00
寄吧
*激昂的赛博音乐* |
 |
44
titanium98118 2022-03-04 16:47:38 +08:00
这让我想到了王思聪的家宽
|
 |
45
fiht 2022-03-04 17:07:19 +08:00
有预算 + 数据不敏感的话楼主可以联系下我，层主我是资深 NAS 用户，可以帮你看下给你报价
某绿色软件: MTc4NjUxOTk5Njg= |
 |
46
koloonps 2022-03-04 17:14:14 +08:00
海外买一台服务器,下载之后上传到阿里的 OSS
|
 |
47
specialperson 2022-03-04 17:37:38 +08:00
20T ，，用家用肯定不行 4T 就封你账号了。 也可以直接寄。有条件买个服务器，搞个 20T 云云盘，慢慢下，费用偏高。
|
 |
48
xuecan 2022-03-04 17:58:22 +08:00
我觉得 这个完全取决于你的预算。。
|
 |
49
oceanlove 2022-03-04 18:02:00 +08:00
Onedrive 完全可以，成都移动商宽以前，现在，将来都在用的
|
 |
50
kandaakihito 2022-03-04 18:47:27 +08:00 5
本板块现在是开启了军备竞赛模式么，怎么隔一段时间就有人要跨国传输大体量文件？
指不定下次再见到类似的贴子的时候就已经以 PB 为单位了（手动滑稽 |
 |
51
jZEdn7k4 2022-03-04 19:39:15 +08:00 via iPhone
别的不知道，但强烈不建议找别人下载，楼主这么大的 dicom 数据多半就是做 AI 的吧，你老板拿到这么大的数据集应该不容易，找别人下载轻轻松松复制了一份跑了，何况还是医学数据这种敏感数据。还是自己找办法下吧。
|
|
52
bclerdx 2022-03-04 19:52:29 +08:00
@kandaakihito 确实，近期发现类似的帖子有好几个。
|
 |
53
ytmsdy 2022-03-04 19:59:29 +08:00
还是用技术手段下载下来吧。现在国际快递的派送速度非常不稳定，什么时候能到完全看人品！
|
 |
54
aru 2022-03-04 20:06:23 +08:00
1. 如果是上海电信，那花钱开通 CN2
2. 可以考虑换成联通宽带 3. 可以考虑搞服务器做一个转发 1000 以内搞定都不成问题 |
 |
55
philippiela 2022-03-04 20:15:39 +08:00
区区 20T 不考虑数据安全的话 buyvm 无限流量配合 rclone 转存 OneDrive 即可
|
 |
56
linglin0924 2022-03-04 20:30:25 +08:00
距离发帖快过去 9 个小时了，楼主要是把下载地址贴出来，热心的吃瓜群众可能都给你下载好了。
|
 |
57
mobobye 2022-03-04 22:04:38 +08:00 via iPhone
使用 xdown ，开启 RR 算法，解君愁……
|
 |
58
crazydd 2022-03-04 22:12:51 +08:00
楼主可能需要注意一下医学图像合规，一般不允许上第三方服务器。
|
 |
59
jousca 2022-03-04 22:20:50 +08:00
BitTorrent Sync
|
 |
60
vueli 2022-03-04 22:42:07 +08:00
磁力链接
|
|
61
laqow OP 非常感谢各位朋友帮忙支招，目前计划先分配几个同学挂着下。后面按大家建议的方法逐个试一下，看看电信有没有不限流的方案或 CN2 能办理，不行再试试 AWS 、阿里 OSS 什么的。
@kandaakihito @bclerdx 唉元宇宙是这个样子的了 @jZEdn7k4 @crazydd 这么想确实是，可能也是搞个门槛。对方单个主机挂这么大个数据还是走 HTTP 的 POST 下载也是离谱。 @mobobye 谢谢，尝试一下，只是对面服务器只有一个 IP 出来没别的镜像不知道有没有用。 |
 |
62
PatrickLe 2022-03-05 00:13:40 +08:00 9
2T 一个包，做成 10 个种子，种子名字改成“三上悠亚经典作品集合”这样的名字，发到 1024 、色花，然后你国内电脑可以开着 qBittorrent 这样的 BT 软件下载了，有全国的 LSP 们帮你加速下载，20T 小意思，你网速不拉胯几天就下完了，不花一分钱
|
 |
63
zzw1998 2022-03-05 00:37:33 +08:00
直接寄 FedEx ，全球三天到，最省事不折腾
|
 |
65
just1 2022-03-05 01:18:37 +08:00
10m/s 都要二十几天，更别说家宽达量限速........
|
 |
66
kingcanfish 2022-03-05 01:46:58 +08:00
@PatrickLe 诶 别说 你他娘的还真是个天才
|
 |
67
irainsoft 2022-03-05 01:58:40 +08:00
20T 肯定是邮寄最快了，两三天差不多就到了
|
 |
68
HiLyy 2022-03-05 04:20:37 +08:00 2
可以用这个网站： https://www.backblaze.com/b2/cloud-storage-pricing.html
上传到他们网站，$5/TB/月，20T 一个月$100,然后他们家提供邮寄服务，8TB $189 ，要是把硬盘再寄回，这笔钱可以退给你。 |
 |
71
zzlhr 2022-03-05 10:42:49 +08:00
webrtc 传?
|
 |
72
windyskr 2022-03-05 11:34:05 +08:00
|
 |
73
celeron533 2022-03-05 12:24:50 +08:00
对方提供程序下载。。。NBIA 相关？
|
|
74
celeron533 2022-03-05 12:26:18 +08:00
另外你提到“当地人下载”，海外很多宽带限制流量，超过会减速或者额外收费。最好是在那个学校里直接内网下载搞定，再寄回。
|
 |
75
peterpei 2022-03-05 13:53:41 +08:00
你这个程序其实是请求了不同的 range 吧，程序问题倒是没什么
所以其实解决方案很简单 Step1. 写一个 /联系对方获得每个分块的下载链接 Step2. *因为你是百兆带宽* 所以可以同时开 3 个腾讯云 hk 轻量服务器下载(上传限速 30mpbs X3 差不多你的电信也就跑满了 而且轻量服务器每月限制带宽 1TB) Step3. 达到 1TB 的轻量服务器可以直接删掉了,两天差不多两块钱吧 这些数据差不多两天可以迁移,也就是说两天可以迁移 3TB ，不到两周就弄完 实际花销应该不到 60r 当然如果可以 py 一个千兆网,应该两三天就弄好 |
|
76
peterpei 2022-03-05 13:58:04 +08:00
或者租个大盘鸡用 bypy
然后就开个百度会员 |
 |
77
levenwindy 2022-03-05 19:46:10 +08:00 via Android
@SenLief 跑不了，联通跑 onedrive 可能快一点，但是电信 200k~500k ，高峰期 50k 都有可能
|
|
78
wanwaneryide 2022-03-07 08:49:17 +08:00
@laqow 又不是一个文件就 20T ，现在网盘一般都有个 4 5T 的样子，下载到网盘里面的就直接下载到本地，然后删除网盘里面的文件不行嘛
|
|
79
laqow OP 感谢各位帮忙。问了一下电信现在没有流量限制了，应该挂着下数据量大也不会直接封号，但掉速是难免的，我估计是 TCP 协议和电信一些小动作。
@HiLyy 这个牛逼了 @PatrickLe 这根本导不出来啊 @peterpei 不是 range ，是分好块的多个文件。对方提供的程序就是根据用户名设备在本地算个 hash ，类似 http://.../?hash=..&part=..这样，只是请求参数放 POST 了，然后大概是不支持 range 了。感觉网盘应该没办法直接用 POST 请求，提速方法感觉还是需要找个好的线路或者中介 VPS 。不过好在一个块只有 300M ，把 hash 抓包下来用 curl 伪造一下可以实现多个 300M 同时下载。 @celeron533 只可惜没这样的同学，也没有直接寄硬盘的服务 @windyskr 终于知道这个盒子是什么了 |
 |
80
ghostwwg 2022-03-07 17:34:53 +08:00
迅雷行不行。。可以的话买个 VIP
|
|
81
peterpei 2022-03-07 23:07:14 +08:00
@laqow
“用户名设备在本地算个 hash” 这个 hash 是不变的吗？ 不变的话只需要分段 POST part 就可以拿对应的直链了吧 拿到直链之后看看支不支持 range ，支持的话感觉 aria2 这种都能跑满 |
 |
82
Chrisone 2022-03-08 09:27:06 +08:00
文件完整性检查就头疼，物理介质带回来吧
|
 |
83
endy 2022-03-08 15:27:17 +08:00
申请多几个阿里云盘。。。不是不限速吗。/狗头
|
 |
84
siparadise 2022-03-14 16:58:48 +08:00
方案 1：即使弄个不限量的机场，对方搭个 apache 服务器，按 10MB/s 的速度一天最多也就下个 800G 左右，保守点 500GB ，也得 40 天左右才能传完，且不说运营商看你流量大封你宽带。方案 2：硬盘对拷再寄硬盘回来。
|
 |
85
Zinzin 2022-03-15 23:35:59 +08:00
有保密需求的话还是 btsync 吧
|
|
86
laqow OP 现在在家里电信下开始大概 100G 有 20MB/s 后面慢慢掉到 250kB/s 。但同时连其他国外地址地址的速度没有明显降，不知道是哪里降的速度。
|
 |
87
bbsingao 2022-03-17 15:24:24 +08:00
很明显是国外服务器自己降速了. 怎么可能长时间全速提供给一个 client .
|
Select Language