libasten
V2EX  ›  Local LLM

100 多号人的企业,想自己部署 deepseek,硬件要哪些?

  •  
  •   libasten · Mar 7, 2025 · 1529 views
    This topic created in 461 days ago, the information mentioned may be changed or developed.
    硬件配置起步就要百万级 ?
    听说华为给的一揽子方案是 500 ,然后 nvidia 报价 200 。
    这个这么吃硬件?
    5 replies    2025-03-11 21:11:25 +08:00
    sivacohan
        1
    sivacohan  
    PRO
       Mar 7, 2025
    单机功率 20kw ,电费也是大头。
    gether1ner
        2
    gether1ner  
       Mar 7, 2025
    不考虑云端部署吗?
    HojiOShi
        3
    HojiOShi  
       Mar 8, 2025 via Android
    不是,华为哪来的脸,报价比英伟达还贵。
    coefu
        4
    coefu  
       Mar 11, 2025
    电费都够你们成本喝一壶了。
    risk7080
        5
    risk7080  
       Mar 11, 2025
    成本大几十万差不多了吧,


    4. 本地部署方案
    硬件配置(单节点):
    中端配置:
    GPU:2×RTX 4090 ( 24G 显存)
    CPU:AMD Ryzen Threadripper 3970X ( 32 核)
    内存:128GB DDR4
    存储:2TB NVMe SSD + 10Gbps 网卡 910 。
    高端配置:
    GPU:4×NVIDIA H100 ( 80G 显存)
    CPU:双路 Intel Xeon Platinum 8480+( 112 核)
    内存:512GB DDR5
    存储:RAID 0 阵列( 4×4TB NVMe SSD ) 268
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   949 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 43ms · UTC 20:05 · PVG 04:05 · LAX 13:05 · JFK 16:05
    ♥ Do have faith in what you're doing.