mingtdlb

mingtdlb

V2EX member #525301, joined on 2020-12-23 22:50:43 +08:00
Today's activity rank 1326
Per mingtdlb's settings, the topics list is hidden
Deals info, including closed deals, is not hidden
mingtdlb's recent replies
1h 28m ago
Replied to a topic by kamikaze472 问与答 完全不付费的情况, 推荐哪一家 ai
gemini 的额度有人知道是多少吗? aistudio 用了一年多了,前几天第一次给我提示说不让用 没额度了
好奇你都说了什么

半日报,我第一次听说啊,早上 3 小时,合着 2.5 小时的工作,0.5 小时写报告呗😂
GLM 是写代码比较强吗?我感觉他 chat 有点拉
3h 28m ago
Replied to a topic by mingtdlb 职场话题 兄弟们, GPU 智算有发展前景吗?
@cnleon #2 这种很多都是吹牛,能有多少项目万卡呀,能整个百卡都不错了。这个就像说 x86 服务器万级别节点的 ,我也干 IT 好几年了,除了 xx 运营商、xx 省公安厅、xx 银行,就没接触过上万的规模。职业生涯中能把中等规模的搞清楚,就很不错了。
@casatAway #17 邮箱验证吗不是么?这个普号拿来有什么用,能池化 codex 的免费额度,然后提供出来用还是怎么样 还是有其他用处
1 day ago
Replied to a topic by archxm Local LLM 大伙有想过二次训练吗?
@HHHans #2 说明一直在发展,这种方案不合适,淘汰了呗
1 day ago
Replied to a topic by mingtdlb Local LLM 多台 GPU 之间怎么组网互联?
@makictos #21 你讲的对我来说有点高深,什么 nvl ,什么多卡拆分,我不太了解这些,我知道你有东西,第一条回复就能看出来😁

这么说吧,比如我想在企业内网跑一个大模型,供内部使用,要企业级的方案,最开始肯定是确认需求算力、并发、吞吐量、显存大小,再选型 GPU ,硬件到货了再给他组起来。

假设吧,比如是有 8 台 SXM 版的 GPU 服务器,每台是 8 卡 H200 ,那首先要把硬件连接起来,怎么连呢,然后再部署 ds v4 的大模型,提供 api 接口给业务用。

我想了解下怎么开展这项工作,有没有文章可以看的,想学习了解一下,我个人是做云计算方面的,未来 GPU 价格如果下来了,企业内网有需求的都会这么玩吧

软件层面可能企业中有 GPU 云平台这种东西,能直接纳管 GPU 服务器,然后平台能直接部署大模型,还带监控、运维管理啥的(我按云计算的的思想,猜的,就像 esxi 这种厂家,到时部署大模型给业务用就像发个虚拟机一样简单),先不考虑这种的
gpt 普号卖六七毛?不是随便注册么
1 day ago
Replied to a topic by exploretheworld 程序员 你们一个月上班要用多少 token?
@lyhiving #2 1B 不是 10 亿吗?平均一天 10 亿,算上业务 100 亿,你这也太夸张了啊
不得了贵,有些二货还说便宜,真的是水军啊,降个十倍那才叫便宜。。。
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1000 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms · UTC 18:10 · PVG 02:10 · LAX 11:10 · JFK 14:10
♥ Do have faith in what you're doing.