V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
dtgxx
V2EX  ›  问与答

大佬们!~进来看下~~mongodb 和磁盘性能问题请教

  •  
  •   dtgxx · 2020-07-28 11:10:55 +08:00 · 1404 次点击
    这是一个创建于 1572 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前服务器有一块做了 raid0 的 4T 的 5400 转的盘,还有两块做了 raid1 的 7200 转的 6T 的盘。


    我有 2T 的文件目前存储在 raid1 的 6T 盘中,文件都是小文件,大约有 110 万个文件。


    mongodb 的数据文件存储在 6T 盘里面


    我现在想把这 110 万个文件,用 mongoinmport 的形式导入 mongodb,大家觉得这些文件放在 6Traid1 的盘中(同盘导入),导入 mongodb 效率高,还是把这些文件放到 raid0 的盘再导入效率高?


    6T 的读写性能肯定高于 4T 的,但是考虑到 mongo 也在 6T 里面,同盘同转速和不同盘不同转速不知道哪种选择好一点。。

    9 条回复    2020-07-28 18:00:31 +08:00
    ilucio
        1
    ilucio  
       2020-07-28 11:38:29 +08:00
    复制数据的话直接拷贝文件夹也可以的
    dtgxx
        2
    dtgxx  
    OP
       2020-07-28 13:52:34 +08:00
    @ilucio #1 你没看明白我的问题。
    koharu
        3
    koharu  
       2020-07-28 14:02:28 +08:00   ❤️ 1
    转速不一样挺难做比较的,理论 raid0 肯定比 1 快但是考虑到同盘我选择方案 1 同盘导入
    wellsc
        4
    wellsc  
       2020-07-28 14:02:55 +08:00
    存文件映射不就好了
    qping
        5
    qping  
       2020-07-28 14:03:10 +08:00   ❤️ 1
    我觉得是网络不是瓶颈的情况下,使用不同盘效率高,理由是 5400 转的磁头负责读,7200 转的负责写,不用同时负责读写。

    只是我的猜想,建议你尝试两种方案各 100M 试下
    dtgxx
        6
    dtgxx  
    OP
       2020-07-28 15:18:05 +08:00
    @koharu 确实是有点难凭感觉比较,感谢。
    @qping 我也有这样的感觉,像是做了读写分离,具体只能测试下了。
    ilucio
        7
    ilucio  
       2020-07-28 16:48:15 +08:00
    我的意思是直接用拷贝文件夹的方式就行了,不需要使用 mongoinmport
    dtgxx
        8
    dtgxx  
    OP
       2020-07-28 16:59:37 +08:00
    @ilucio #7 我没太理解,拷贝过去 mongodb 里面怎么使用呢?即使能用数据也不会走 zstd 之类的压缩了吧
    ilucio
        9
    ilucio  
       2020-07-28 18:00:31 +08:00
    @dtgxx 关掉 mongodb 服务,将整个 mongdb 数据文件夹拷贝过去,删除 diagnostic.data 文件夹,然后把旧的 mongodb 配置拷贝过来,修改下数据文件路径,这样 mongodb 就可以启动了。这种方法不会改变压缩方式等其它配置,因为只修改了数据文件路径
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1832 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 16:37 · PVG 00:37 · LAX 08:37 · JFK 11:37
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.