V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
feiandxs
V2EX  ›  分享创造

最近讨论资料和数据存储的帖子挺多,我也说说我的个人数据存储的方法,应该对别人没什么参考价值,所以只是说说而已

  •  
  •   feiandxs ·
    ibegyourpardon · 2012-12-18 22:53:37 +08:00 · 3439 次点击
    这是一个创建于 4383 天前的主题,其中的信息可能已经有所发展或是发生改变。
    日常工作使用的文档数据

    我不是职业程序员,工作范围从dev到ops,写作,广告设计,活动策划都有,幸好这些工作所设计的文档都不会很多,平时也就扔在dropbox里。对应的工具也经过精简后控制大小,然后还是扔dropbox里。用的win系统,环境变量等设置也都写好了bat文件。无论是系统崩溃还是硬盘故障,无非是装好dropbox慢慢等。这一部分倒也没太多好说的。

    电影

    我没有什么NAS系统,配了一个USB的硬盘盒,真的值得收藏的电影,也都扔在硬盘里,硬盘不多,大概七八块。因为读取次数很少,预估寿命再放个三五年没问题。三五年后需要重新部署存放的时候,相信那个时代也有了更好的存储方案了。
    而且我也觉得,对读取并不多,更多的是一个backup意义的数据来说,自己弄个硬盘,其实是性价比非常高的方案。

    音乐

    这个才是让人头疼的问题。。我自觉得还勉强算是个音乐爱好者,收藏的数字音乐文件也不少,实体的那些也都用实体的架子存放,这里不提,数字文件比较难办。以前是直接扔在自用的服务器上,一路加硬盘即可。后来在上海某机房有了自己的NFS群,就扔到那里去了。缺点在于,音乐文件的重复使用率比电影高的多,我想听几张专辑的时候,还要连服务器去拖取。虽然现在在线试听品质也越来越高,320k相信对很多人都足够,也包括我,但总有的时候吧,320k还真的不够我听,仍然需要更高音质的数字文件。
    前段时间aerofs公开测试了,我测试过后,觉得性能(其实就是扫描文件的效率)觉得还算让我满意,只是毕竟是P2P的,在修改文件后并不能第一时间得到响应,但也能满足我的需要了。想到这样的话可以做到本地和服务器的双向备份了。于是统计了下散布在nfs,mp3 player,server,上乱七八糟的音乐文件,包含flac/ape/mp3/oga/wma/上古时代的rm。各种文件我记得差不多去年这个时候就已经差不多是20T,结果现在统计后发现居然只有18T了……应该是今年服务器们搬动来搬动去,损失了不少。
    然后又发现一个问题,aerofs是文件双向同步,那意味着就算我把服务器上的资源整理起来了,那我本地也需要18T+的存储空间。。。但我也不愿意在server上做双倍的存储投资了。
    目前的计划是近期配置一台家用服务器,感谢科技的发展,拖到30T的存储应该不是问题,这样便可以利用aerofs和服务器做一个双向的备份了。服务器上已经有的存储空间,有许多是我的客户们已经淘汰不再使用的硬盘。严格来说都有一些年头了,并不能保证还可以稳定存储多久,但有了aerofs的配合,应该可以做到一个可靠的备份。前提是——等aerofs把这18T的文件通过4M的宽带同步回家之前这些硬盘都不挂- -
    曲库管理方面我的经验是,没有管理。恩,到了这个数量级别已经没有办法了。。任何市面上存在的音乐管理软件都扛不住了。如果给这些曲目和文件位置做个索引,遍历下,扔mysql里,播放器读取mysql,我还要再加一台机器,专门给曲库做索引,给播放器做接口。。。投资太大了- -

    目前在音乐文件的管理方面每年的投资,大约估算下,是个4位数,早期的一次性投入不提了,账目混乱。这个支出说多不多说少不少,因为扔在服务器上,服务器也并不只是用来存放音乐,同时也有发挥其他作用,并不怎么好精确计算。何况,这笔账目比起乐器的投入,实在不值得一提了。何况这些音乐带给我的感动,是无法用金钱衡量的
    在找到比现在构思的使用aerofs更好的计划之前,可能需要靠程序随机给我推送文件到本地来实现曲目随机播放。。。
    那在aerofs出来之前我怎么办的? 先在线试听,然后根据喜爱程度决定是下载然后扔服务器上收藏,或者听完就抛之脑后。所以现在本地硬盘上基本就是过一下音乐文件而已。

    照片

    我不拍照片,我也没有照相机,我拒绝被拍照,所以这个问题对我来说不存在。。。

    未来的计划

    put everything in a p2p network.....
    7 条回复    1970-01-01 08:00:00 +08:00
    dotbuddle
        1
    dotbuddle  
       2012-12-18 22:59:50 +08:00
    的确没有参考价值,鉴定完毕。。。
    ericFork
        2
    ericFork  
       2012-12-18 23:00:27 +08:00
    看到倒数第三行笑了怎么办……

    AeroFS 可以考虑在本地建立个索引,需要时找一台国内的节点拖回来,当然,前提是家里的宽带确实足够宽了。

    另外,借宝地一问,Mac 下有没有现成的音乐管理工具可以用 Tag 的方式管理大量音乐文件?以前尝试过简单的分类,但有时同一个曲目不止属于一个分类,纯粹用播放列表的方式太蛋疼且维护不便……
    skyahead
        3
    skyahead  
       2012-12-18 23:31:29 +08:00
    赞,多谢分享这么详细的使用经历!!!
    ninjai
        4
    ninjai  
       2012-12-19 00:01:27 +08:00
    音乐文件只有不大14000首,iTunes用来管理还是首选,配上iTunes Match来做备份
    clowwindy
        5
    clowwindy  
       2012-12-19 00:38:33 +08:00
    这些年我用过的大部分服务最后都关门了。自从 Google Reader 突然改版,我的阅读纪录、好友、分享、评论全部丢失(除了一个 Google 提供的 JSON 格式的笔记备份文件之外,JSON 格式!),我决定再也不信任任何公司。所有的东西都在本地留一个备份。一家公司的寿命是有限的,它不能伴你一生。即使是苹果商店里买过的电影,谁也不能确保苹果十年之后还在。

    于是我配了一台存储服务器摆家里,每次满了就加一块硬盘。家里用千兆局域网,使用感觉和本地文件也差不多。我最近的爱好是收藏 FSX 的全球各地地景。

    我觉得自己已经够和这个云时代脱节了。没想到还有更变态的人。
    SAGAN
        6
    SAGAN  
       2012-12-19 08:32:04 +08:00
    給lz跪了,單單音樂就18T,家裡放存儲服務器…。我以為自己弄了個5*2T的專門nas機+外置硬盤備份已經很離譜了……
    yusnake
        7
    yusnake  
       2012-12-19 16:47:23 +08:00
    18T音乐。。。。这曲库量,敢情做个个人网络电台了。。。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4598 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 04:02 · PVG 12:02 · LAX 20:02 · JFK 23:02
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.