neteroster 最近的时间轴更新
neteroster

neteroster

V2EX 第 191331 号会员,加入于 2016-09-11 21:01:55 +08:00
今日活跃度排名 558
根据 neteroster 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
neteroster 最近回复了
11 小时 59 分钟前
回复了 NianBroken 创建的主题 程序员 可以画涩图的非本地 AI 有哪些?
novelai
18 小时 12 分钟前
回复了 886106 创建的主题 Apple Studio M4max 128G 是否合适跑大模型
[同时]满足下面几个要求的情况下有优势:
1. bs=1 (不并发)
2. 轻 prefill 负载(仅类似 chatbot 任务,没有 rag 这样的工况)
3. 静音与便携
4. 需要跑较大的模型(很慢但能跑)

---

一旦你要并发或者重 prefill 任务就会原地爆炸,被多消费卡方案杀出几十上百倍的吞吐都不是不可能的。就算你不考虑吞吐只是单线程,也只有跑 MoE 的时候有比较显著的性价比优势,可惜这 128G 左右也没啥合适的 MoE 。

综合意见就是,大体上优势只有功耗静音。Ultra 的话能装下 R1 还有点看头,Max 除了功耗这些外围的基本可以说没什么跑 LLM 的优势。
3 天前
回复了 ayang23 创建的主题 分享发现 这道数学题能让目前所有 AI 原地爆炸
@wulili 每个周期内水位是先升后降的,19.6 小时处的那个尖峰其实已经注满了,19.6 是考虑了这一点下的结果。你直接忽略内部过程按周期看就是不一样的,但是你不能说 19.6 是错的
3 天前
回复了 ayang23 创建的主题 分享发现 这道数学题能让目前所有 AI 原地爆炸
o3-mini-high (api): 19 小时 36 分钟。

promptTokens=126, completionTokens=4342, 总时间=32s, tps=136
4 天前
回复了 shuiguomayi 创建的主题 问与答 3000 元以内最强半高刀卡显卡推荐?
半高刀卡限制太严格了,技嘉有张 4060 Low Profile ,不过 8G 跑 14B 还是太勉强了
跑 memtest ,大概率内存本身就有问题
10 天前
回复了 atao777 创建的主题 计算机 diy 主机: itx 值得选择吗?
能不装不装,ITX 箱子装起来非常麻烦,没注意很容易这儿冲突那冲突,安装操作起来也很困难。如果实在要装也建议考虑大点的紧凑机箱,比如闪鳞 G300/400/500 这种 10-20L 的,硬件兼容性也会好很多。

最近装了台 G300 + ITX 板 + ATX 电源 + 4070 ,这个大小的机箱都不怎么好处理了。另外装极限小机箱或者紧凑机箱可以考虑 MoDT CPU ,7945HX 或者 Intel 对位的,能效比好很多,紧凑机箱散热比较紧张,散热多给显卡留些。
13 天前
回复了 klo424 创建的主题 Local LLM 求 DeepSeekR1 性价比硬件推荐
只有 671B 是“真正的” R1 ,其他蒸馏版本都没有跑过本体的训练管线,其实不能叫 R1
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1067 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms · UTC 23:18 · PVG 07:18 · LAX 16:18 · JFK 19:18
Developed with CodeLauncher
♥ Do have faith in what you're doing.