V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
lingeo
V2EX  ›  服务器

咨询各位 v 友,文件服务器针对海量小文件有什么优化手段

  •  
  •   lingeo · 2023-08-08 10:50:46 +08:00 · 1199 次点击
    这是一个创建于 479 天前的主题,其中的信息可能已经有所发展或是发生改变。

    公司有台服务器,系统是 windows server 2019 数据中心版。里面放了很多数据集,音视频,文本、很多小文件,磁盘有没有做 raid 不清楚,我入职之前这服务器就存在了,而且塞了很多数据了。现在每次拷数据进去,如果移动硬盘的小文件过多,服务器的文件资源管理器直接卡死,感觉是有服务在检索移动硬盘里的文件,排查的时候发现不知道哪个哥们装了个 everything 内存占用 60%,卸了之后发现资源管理器卡顿消除了。还有拷数据的时候为了跑满带宽,我都是先打成压缩包再复制,虽然压缩也比较费时间但是总体来说要比直接复制快一点。我想问下现在 AI 这么火,存储数据集的服务器都是怎么设计的,传输时有大量小文件需要寻址,有时候可能还需要在服务器进行文件检索。

    5 条回复    2023-08-09 01:06:27 +08:00
    MrGba2z
        1
    MrGba2z  
       2023-08-08 11:01:12 +08:00
    HDD 还是 SSD ?

    我自己家全固态存文件服务器 之前简单测试过下没啥问题
    * 几十万张的色图包(我真没看,纯测试用的)复制来复制去
    * 整个 PC 机系统盘带游戏等 1T 直接复制备份
    (网络是 10G 内网)
    lingeo
        2
    lingeo  
    OP
       2023-08-08 11:05:31 +08:00
    @MrGba2z 机械硬盘,家用 SSD 成本咋样。
    opengps
        3
    opengps  
       2023-08-08 11:24:19 +08:00
    首先是硬盘格式,格式化时候需要选最小的块,否则可能极大浪费存不下文件
    其次是资源管理器的操作模式天然就很卡,反倒是你可以直接精确控制程序写入或者读取文件不会卡死
    tool2d
        4
    tool2d  
       2023-08-08 11:45:22 +08:00
    我服务器挂的是固定大小的 VHD ,速度也很快。
    MrGba2z
        5
    MrGba2z  
       2023-08-09 01:06:27 +08:00
    @lingeo 我用的带保修的 sn640 我觉得还行吧. ssd 没做冗余, 每小时自动备份到 HDD 的冷备里. 也在等之前传言的 zhitai 还是长江的大容量 ssd
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2986 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 00:16 · PVG 08:16 · LAX 16:16 · JFK 19:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.