现在有网盘支持基于rolling checksum/hash 的progressive deduplication么？
weakish · 2013-09-06 17:29:57 +08:00 · 3108 次点击这是一个创建于 4090 天前的主题，其中的信息可能已经有所发展或是发生改变。
有网盘支持这个功能么？
这个功能特别适合备份 VM 文件。我昨天备份过了的话，今天再备份，相同的部分都是秒传了。甚至，很多 VM 都差不多的，所以甚至第一次上传都可能是秒传 （因为有别的用户上传过了）。
目前我是用bup备份VM到网盘的同步目录，但是：
- 如果网盘直接支持的话，我就可以直接传VM，不用先运行bup了，虽然bup确实很快
- bup不支持删除旧备份，如果以后占用空间过多，我得全部删除，从头备份、从头上传
这个功能特别适合备份 VM 文件。我昨天备份过了的话，今天再备份，相同的部分都是秒传了。甚至，很多 VM 都差不多的，所以甚至第一次上传都可能是秒传 （因为有别的用户上传过了）。
目前我是用bup备份VM到网盘的同步目录，但是：
- 如果网盘直接支持的话，我就可以直接传VM，不用先运行bup了，虽然bup确实很快
- bup不支持删除旧备份，如果以后占用空间过多，我得全部删除，从头备份、从头上传
 |
1
mindcat 2013-09-06 23:02:36 +08:00
这是神马? 0w0 好高级! 糊里糊涂的喵!
|
 |
2
kennedy32 2013-09-07 00:20:19 +08:00
不明觉厉
|
 |
3
VYSE 2013-09-07 00:26:59 +08:00
DROPBOX都不支持，而且现在网盘单个文件尺寸限制太大
|
 |
4
weakish OP @mindcat @kennedy32 簡單說就是基於block而不是file做deduplication：將文件切成很多很小的小塊，然後對每個小塊計算hash，檢測是否已經存過了，並且通過一定手段保證文件內容部分改變之後，未改變的部分會被切成和上次一樣的小塊。具體可以 google 相關的關鍵詞。
西數的arkeia網站上的介紹：http://www.arkeia.com/en/products/data-deduplication/progressive-deduplication bup的設計文檔：https://github.com/bup/bup/blob/master/DESIGN |
Select Language