ksc010
V2EX  ›  问与答

请教下 minio 集群,上传 100G 左右的小文件后,感觉速度有些慢

  •  
  •   ksc010 · Dec 12, 2023 · 1692 views
    This topic created in 891 days ago, the information mentioned may be changed or developed.

    比如 mc ls xxxx/full/201202/ -r 可能会卡住需要半分钟的时间

    然后执行
    mc admin trace -a sf

    有大量日志刷新 内容如下:

    2023-12-12T23:34:30.694 [SCANNER] scanner.ScanFolder minio:9000 /data4 xxxx/full/full/20220911/8991b39bc48df9814bf0bca3c515794c3bff6e52.jpg 3.737023ms 2023-12-12T23:34:30.700 [OS] os.OpenFileR minio:9000 /data4/xxxx/full/full/20220911/a60dde51fa81cb1fdc934d0458630d20cdfbca38.jpg 66.285µs 2023-12-12T23:34:30.700 [OS] os.OpenFileR minio:9000 /data4/xxxx/full/full/20220911/a60dde51fa81cb1fdc934d0458630d20cdfbca38.jpg/xl.meta 26.689µs 2023-12-12T23:34:30.700 [SCANNER] scanner.ScanObject minio:9000 /data4 xxxx/full/full/20220911/a60dde51fa81cb1fdc934d0458630d20cdfbca38.jpg/xl.meta 7.482286ms

    感觉是 minio 在后台异步处理一些任务,若是这样的话,怎么能看到这些任务完成情况

    3 replies    2023-12-13 11:26:54 +08:00
    rwecho
        1
    rwecho  
       Dec 13, 2023
    我们用了好几年的 minio ,并且数据量都在几十 t ,会不会版本问题?
    Just4L
        2
    Just4L  
       Dec 13, 2023
    minio 剩余空间大么,网络抖动大么
    ksc010
        3
    ksc010  
    OP
       Dec 13, 2023
    @Just4L 局域网,一共 4 个 5T 的硬盘 至少得有 10T 得可用空间吧

    另外我发现,Bucket 显示得 对象数量 和 占用空间数量 在不断增加,大小趋近于我真实上传的数据量

    刚才又看了下 还在”跑“ 跑了一夜了还跑完 现在空间占用显示 100G 了 ,昨天晚上是 40G 多
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2928 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 14:04 · PVG 22:04 · LAX 07:04 · JFK 10:04
    ♥ Do have faith in what you're doing.