V2EX › jolly336 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

129 天前

回复了 clifftts 创建的主题 › 程序员 › 一个老程序员的胡言乱语

+1 ，转身的功夫，之前保留的网址和资料好多也都失效了，还是多看看底层一些东西，都是想通的，时间长了会有不一样的感悟

141 天前

回复了 jolly336 创建的主题 › 问与答 › Rsync 传输大文件性能问题

感谢各位大佬的解答，目前看来各种工具还是只有 Rsync 能满足增量拉取，只是性能有点问题，在增量拉取单个大文件时 sender 端要挨个数据块计算 checksum ，这期间网络是空闲的，到传输变动字节数据时网速还是可以的，所以耗时就在 rsync 只会单核 CPU 工作，checksum 拉长了耗时。
目前准备切片并行传的试下，但这种会出现资源竞争，整体耗时有时候会劣化。不知道还有啥好思路优化？

143 天前

回复了 jolly336 创建的主题 › 问与答 › Rsync 传输大文件性能问题

@yingxiangyu 这个很原始，没法做到增量 diff 拉取呐

143 天前

回复了 jolly336 创建的主题 › 问与答 › Rsync 传输大文件性能问题

@adrianzhang 测试了下，Mac 网速不好时 40Mb/s ，瓶颈在网速 IO 这，网速比较高 1000Mb/s 时，瓶颈在服务器磁盘 IO 上

143 天前

回复了 jolly336 创建的主题 › 问与答 › Rsync 传输大文件性能问题

@dann73580 server 是部署的 K8S 这套，也能用吗？这个支持增量传吗？还有在本地 Mac 网速有限的情况下，能最快拉回文件

143 天前

回复了 jolly336 创建的主题 › 问与答 › Rsync 传输大文件性能问题

@T0m008 scp 没有增量传输了，全部传，Mac 网速一般，这个没法改变，还得要增量拉

144 天前

回复了 jolly336 创建的主题 › 问与答 › Rsync 传输大文件性能问题

@ferock -W, --whole-file copy files whole (without rsync algorithm) 就真成了 scp 了，会 disable 增量传输，文件太大了，是不行的