V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
miniliuke
V2EX  ›  问与答

海量图片(文件)分布式储存方案选择

  •  
  •   miniliuke · 2019-09-14 13:04:30 +08:00 via Android · 4154 次点击
    这是一个创建于 1904 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在有几十 T 图片数据,读多于写,该采用什么分布式方案? Mongodb 还是专业的分布式文件系统,比如阿里家的 TFS,用 mongo 的性能够么

    17 条回复    2019-09-15 11:06:44 +08:00
    miniliuke
        1
    miniliuke  
    OP
       2019-09-14 13:07:47 +08:00 via Android
    不需要对图片进行检索,只需要根据文件名读取或者保存就行了
    windfarer
        2
    windfarer  
       2019-09-14 13:38:04 +08:00
    用阿里云的对象存储服务,自己不折腾
    miniliuke
        3
    miniliuke  
    OP
       2019-09-14 13:47:55 +08:00 via Android
    @windfarer 在内网布啊
    dimlau
        4
    dimlau  
       2019-09-14 14:22:20 +08:00   ❤️ 1
    minio ?
    miniliuke
        5
    miniliuke  
    OP
       2019-09-14 14:43:55 +08:00 via Android
    @dimlau 好像不支持在线扩容,有点尴尬
    swulling
        6
    swulling  
       2019-09-14 14:48:58 +08:00 via iPhone
    几十个 Tmongo 绰绰有余
    swulling
        7
    swulling  
       2019-09-14 14:49:56 +08:00 via iPhone
    三台服务器,每台选 8*8T。三副本 mongo 正好。
    slixurd
        8
    slixurd  
       2019-09-14 15:40:26 +08:00
    一个 S3 的场景怎么也不可能要用数据库来支持的....
    不要给自己埋坑...
    这在业界有主流方案,没必要用 MongoDB
    37Y37
        9
    37Y37  
       2019-09-14 16:09:49 +08:00
    对象存储是最合适的
    XiaoxiaoPu
        10
    XiaoxiaoPu  
       2019-09-14 16:38:36 +08:00
    Openstack Swift ?
    rrfeng
        11
    rrfeng  
       2019-09-14 16:50:45 +08:00 via Android
    TFS 挺适合。不过没用过不知道生态环境技术支持啥的
    Reficul
        12
    Reficul  
       2019-09-14 17:32:18 +08:00 via Android
    minio ?
    akira
        13
    akira  
       2019-09-14 19:29:16 +08:00
    Mongodb 是拿来存数据的吧,存图片不大合适吧
    husinhu
        14
    husinhu  
       2019-09-14 20:33:24 +08:00 via Android
    要数据库干啥 直接 azure storage 或者 aws/ali s3
    chinesestudio
        15
    chinesestudio  
       2019-09-14 20:44:39 +08:00 via Android
    就这么点数据 ceph 就好了
    vZexc0m
        16
    vZexc0m  
       2019-09-15 10:22:45 +08:00 via Android
    用 minio 吧,多上几块硬盘就完了。
    msg7086
        17
    msg7086  
       2019-09-15 11:06:44 +08:00
    这么一丁点数据,ceph 也好 minio 也好,再不济直接 GlusterFS 干啊。

    其实吧,这么一丁点数据,好像单机就能跑了……
    你也没说请求数有多大。真的量大就上点 4TB 的 QLC,再稍微分一下文件命名空间,把文件分散存储就行了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   912 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 21:41 · PVG 05:41 · LAX 13:41 · JFK 16:41
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.