tclm 最近的时间轴更新

tclm

V2EX 第 325054 号会员，加入于 2018-06-27 15:17:25 +08:00

根据 tclm 的设置，主题列表被隐藏

二手交易相关的信息，包括已关闭的交易，不会被隐藏

tclm 最近回复了

30 天前

我觉得吧，国内搞大模型除开那几家头部，可能是真下成本在搞。其他的都是套壳忽悠钱，他们不在乎你会做什么，在乎的是你的背景能不能帮他忽悠。

45 天前

@mkdirmushroom

嗯，感谢，那纯 CPU + 内存进行 70B 模型推理还是很勉强的事情.

49 天前

@tclm
@mkdirmushroom

主要是推理效率，也不能太慢对吧，如果 CPU 跑不了 70B 的话，那内存的预算其实可以削减下来.

49 天前

@tclm
@mkdirmushroom

内存是 96G （ 48G 5600Hz * 2 ）

我主要担心的是 8845HS 在内存足够的情况下，处理器性能是否满足 70B 的推理要求。

49 天前

@mkdirmushroom

老哥，配的多少内存，我准备搞一台 8845HS （或 Utral5 125H ）+ 96G （ 48G 5800Hz * 2 ）来跑 70B 的模型，只做本地推理，按你的经验，有搞头吗？

254 天前

这个合同违法了，无效合同，建议 2N 。

276 天前

不是很好的实践。