jeesk
V2EX  ›  问与答

文件存储查询性能?

  •  
  •   jeesk · Mar 21, 2023 · 1504 views
    This topic created in 1157 days ago, the information mentioned may be changed or developed.

    最近几天在研究 webdav,minio 的文件存储,发现 webdav 的查询速度是 minio 最少 30 倍。 webdav 遍历文件 2000 个,大约在 2s 左右。minio 使用 listObjects 遍历 800 个文件大约在 40s.

    我想问一下, 这数据正常吗? minio 的查询性能简直不能叫做储存了。 大家如何看?\

    顺便大家推荐一下查询速度比较快的小文件存储服务?

    2 replies    2023-03-22 08:08:10 +08:00
    ss098
        1
    ss098  
       Mar 22, 2023
    ... WebDAV 并不是底层存储而是协议啊,我猜测你测出的 WebDAV 性能直接连接本地磁盘。

    MinIO 是分布式存储,会有一定损耗。
    litguy
        2
    litguy  
       Mar 22, 2023
    minio 是对象存储
    本身就不是 performance oriented
    你说的 2000 个文件遍历,随便的单机 posix 兼容文件系统都能满足
    但是,这些没扩展性
    如果数据量不大,面向闪存设计的单机文件系统更适合你,例如 f2fs 这种
    其实 xfs ,ext4 这些老牌的也足够你用
    然后你用 NFS 挂过去就行,当然本机直接访问的性能更好
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2914 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 32ms · UTC 14:04 · PVG 22:04 · LAX 07:04 · JFK 10:04
    ♥ Do have faith in what you're doing.