有在生产上跑私有化 DeepSeek 70B 大模型的吗？什么配置的机器支持？并发多少呢？

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

RoxyBrowser - 轻盈、安全的指纹浏览器

Roxy 凭借领先的指纹反追踪技术，助力隐私保护、跨境电商、数据采集等场景，为您的卓越事业保驾护航。

Promoted by RoxyBrowser

这是一个创建于 83 天前的主题，其中的信息可能已经有所发展或是发生改变。

2 条回复

PeiXyJ

83 天前

自己搞太麻烦了,而且是生产环境,建议买一些厂家(好像新华三就有)出的机器吧...而且会给你更好的方案...

coefuqin

83 天前

ds 系列，除了最大的 MOE ，蒸馏出来的都是玩具，没有生产级别的能力。