V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dw2693734d
V2EX  ›  硬件

如果有几百个 T 的数据,硬件应该如何选配?

  •  
  •   dw2693734d · 2023-06-10 16:11:36 +08:00 · 3286 次点击
    这是一个创建于 524 天前的主题,其中的信息可能已经有所发展或是发生改变。

    https://i.imgur.com/l33rWFn.png

    准备买 20 个 SN640 8T 放在本地电脑上

    数据库的数据分片在每个硬盘上

    但是电脑接口有限, 怎么把 20 个硬盘连到电脑上?

    27 条回复    2023-06-16 23:06:54 +08:00
    acctv2
        1
    acctv2  
       2023-06-10 16:33:17 +08:00 via Android
    PCIE 拓展卡就能解决。

    我很好奇个人怎么有几百 t 的高频读取的数据
    dw2693734d
        2
    dw2693734d  
    OP
       2023-06-10 16:45:29 +08:00
    @acctv2 区块链
    labnotok
        3
    labnotok  
       2023-06-10 18:52:23 +08:00 via Android
    不考虑机械企业盘吗,成本低 2/3
    dw2693734d
        4
    dw2693734d  
    OP
       2023-06-10 18:58:28 +08:00
    @labnotok 太慢了😂
    ruixue
        5
    ruixue  
       2023-06-10 19:08:51 +08:00   ❤️ 2
    epyc 吧,128 条 pcie ,走转接的方案上 20 来块还是没问题的,就是注意做好散热,u2 的企业盘散热不是那么好压的,即使是最凉快的 sn640~
    Damn
        6
    Damn  
       2023-06-10 19:31:36 +08:00
    SN640 格式化后差不多 7t 可用空间,20*7=140t ,离几百 t 还差了点。
    楼主是不是应该考虑用量天尺( E1.L ,类似 PE8111 这种)?
    GPU
        7
    GPU  
       2023-06-10 19:39:05 +08:00
    @Damn #6 这个 PE8111 个人估计都很难买到。
    YaakovZiv
        8
    YaakovZiv  
       2023-06-10 19:51:47 +08:00
    我自己是借用公司的机柜,搞了一个机架服务器插盘做存储服务器。走光交,自己电脑用塔式服务器插光模块
    0o0O0o0O0o
        9
    0o0O0o0O0o  
       2023-06-10 19:52:59 +08:00 via iPhone
    好奇是做什么链的数据分析需要几百 T ?感觉在意速度的节点应该都是几个 T 就够了,就算是存档节点也要不了这么大啊
    dw2693734d
        10
    dw2693734d  
    OP
       2023-06-10 20:05:20 +08:00
    @0o0O0o0O0o 和 dune 差不多的
    dw2693734d
        11
    dw2693734d  
    OP
       2023-06-10 20:11:56 +08:00
    @ruixue 请恕我见识短浅,我淘宝搜了下,epyc 好像是 amd 的 cpu😂
    seeleling
        12
    seeleling  
       2023-06-10 23:02:11 +08:00
    PCIE 拓展卡解决问题。
    Tianao
        13
    Tianao  
       2023-06-10 23:24:48 +08:00
    楼主需要 Direct-Attached Storage (DAS).
    l1ve
        14
    l1ve  
       2023-06-10 23:55:09 +08:00
    EMC 考虑一下?
    MAKF
        15
    MAKF  
       2023-06-11 00:52:41 +08:00 via iPhone
    多 node ?
    就算是 Archive Node ,啥链几百 T ?求教
    ryd994
        16
    ryd994  
       2023-06-11 04:04:53 +08:00 via Android   ❤️ 2
    @dw2693734d 人家就是让你买 epyc 的 CPU 和配套的平台
    pcie 通道数受 CPU 限制。一般桌面平台只有 20 条,也就是 5 块盘,每块 x4 lane 。而且显卡也需要 pcie ,你插满 20 lane 就不用干别的了。
    服务器平台都是 40 条 128 条这样。如果不够还能双 CPU 。

    桌面平台一定要怎么办,也有办法,plx switch 。但是这个芯片很贵。而且不能增加总带宽,只是能多设备共享带宽而已。所以完全不值。

    如果你对 CPU 性能要求不高的话(比如 GPU ML ),那可以用洋垃圾平台,也就是上一代或者上几代的服务器平台。白菜价。单核性能差,不适合打游戏。但是堆核心打打桌面平台还是不成问题的。
    如果对 CPU 性能要求高,那就只能花钱买新服务器了。
    ltkun
        17
    ltkun  
       2023-06-11 06:39:04 +08:00 via Android
    pcie 直通卡 几百块都可以直接连 配合硬盘笼串联 咸鱼搜硬盘笼 几千就可以 100 多块硬盘
    dw2693734d
        18
    dw2693734d  
    OP
       2023-06-11 08:23:53 +08:00
    @ryd994 多谢大佬
    dw2693734d
        19
    dw2693734d  
    OP
       2023-06-11 08:24:44 +08:00
    @MAKF 把节点的数据转到 Postgres 里,查考 dune, k 线,交易记录之类的
    ruixue
        20
    ruixue  
       2023-06-11 10:32:36 +08:00
    @dw2693734d 是的,#16 已经帮忙解释了,家用平台 pcie 通道数有限,没有特别好的方案能充分发挥 20 块 sn640 的速度,只能直接换服务器平台,而 epyc 是比较合适的选择
    littleJohn
        21
    littleJohn  
       2023-06-11 10:34:08 +08:00   ❤️ 1
    我的天 和我女朋友一样的头像 吓得我以为她会逛 V 站了
    opengps
        22
    opengps  
       2023-06-11 10:58:02 +08:00 via Android   ❤️ 1
    有扩展卡,但是扩展卡增加数量时候也有不足
    最好的方案还是买昂贵的存储设备,甚至可以放一块盘用
    Rendex
        23
    Rendex  
       2023-06-11 14:11:53 +08:00   ❤️ 1
    咸鱼上有一个 pcie 转 20 固态的拓展卡,看能不能搜到。好像是戴尔服务器拆机的。
    大容量的话算是一个思路吧
    deorth
        24
    deorth  
       2023-06-11 17:59:24 +08:00 via Android
    买华为 Dorado 18500 v6
    honeyjuice
        25
    honeyjuice  
       2023-06-14 09:05:40 +08:00   ❤️ 1
    1.你需要找个机箱 能有 20 盘位的先
    2.然后上 epycCPU 和相应的主板
    3.接着去买 pcie 转 U2 然后主板设置好拆分
    7D12 这种阉割版有 64 条 pcie ,其他满血版有 128 条
    4.最后就是慢慢扩,关键是还得找个优雅好看的 20 盘机箱,为了优雅还要全 U2 背板
    dw2693734d
        26
    dw2693734d  
    OP
       2023-06-14 09:31:34 +08:00
    @honeyjuice 专业啊膜拜了
    BitGeek
        27
    BitGeek  
       2023-06-16 23:06:54 +08:00
    如果是企业方案的话有种东西叫做存储机,就是有一大堆硬盘位一般为 4u 高度的设备,其作用就是给服务器扩展硬盘,但是我在并没有实际体验使用过这个东西,只是听说过,楼主可以网上搜下这种方案
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2828 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 05:52 · PVG 13:52 · LAX 21:52 · JFK 00:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.