neteroster 最近的时间轴更新 neteroster 最近的时间轴更新 |
neterosterV2EX 第 191331 号会员，加入于 2016-09-11 21:01:55 +08:00今日活跃度排名 4627 |
neteroster 最近回复了
4 天前 回复了 vagranth 创建的主题 › 奇思妙想 › 现在还有人需要“翻译 API 服务”吗？ |
这种不是很多，就算细分领域都一大堆了，比如日语游戏小说翻译：
https://github.com/NEKOparapa/AiNiee
https://github.com/neavo/LinguaGacha
还有提高翻译质量的译前自动术语表生成
https://github.com/neavo/KeywordGacha
更便捷的 gui 参数设置和 llama.cpp 启动器
https://github.com/PiDanShouRouZhouXD/Sakura_Launcher_GUI
甚至社区算力共享：
https://github.com/1PercentSync/sakura-share
https://github.com/NEKOparapa/AiNiee
https://github.com/neavo/LinguaGacha
还有提高翻译质量的译前自动术语表生成
https://github.com/neavo/KeywordGacha
更便捷的 gui 参数设置和 llama.cpp 启动器
https://github.com/PiDanShouRouZhouXD/Sakura_Launcher_GUI
甚至社区算力共享：
https://github.com/1PercentSync/sakura-share
14 天前 回复了 moudy 创建的主题 › Apple › Mac Studio 实战 671B 全量大模型成绩出来了 |
@wclebb
https://github.com/kvcache-ai/ktransformers/blob/main/doc/en/DeepseekR1_V3_tutorial.md
0.3-preview, 6454S×2, 4090D, D5-4800
pp~250, tg~12 ，我没记错的话这个 pp 远超 m3u ，tg 差些
更好的硬件：
https://zhuanlan.zhihu.com/p/30079534043
https://github.com/kvcache-ai/ktransformers/blob/main/doc/en/DeepseekR1_V3_tutorial.md
0.3-preview, 6454S×2, 4090D, D5-4800
pp~250, tg~12 ，我没记错的话这个 pp 远超 m3u ，tg 差些
更好的硬件：
https://zhuanlan.zhihu.com/p/30079534043
16 天前 回复了 NianBroken 创建的主题 › 问与答 › 可以画涩图的非本地 AI 有哪些？ |
novelai
16 天前 回复了 886106 创建的主题 › Apple › Studio M4max 128G 是否合适跑大模型 |
［同时］满足下面几个要求的情况下有优势：
1. bs=1 （不并发）
2. 轻 prefill 负载（仅类似 chatbot 任务，没有 rag 这样的工况）
3. 静音与便携
4. 需要跑较大的模型（很慢但能跑）
---
一旦你要并发或者重 prefill 任务就会原地爆炸，被多消费卡方案杀出几十上百倍的吞吐都不是不可能的。就算你不考虑吞吐只是单线程，也只有跑 MoE 的时候有比较显著的性价比优势，可惜这 128G 左右也没啥合适的 MoE 。
综合意见就是，大体上优势只有功耗静音。Ultra 的话能装下 R1 还有点看头，Max 除了功耗这些外围的基本可以说没什么跑 LLM 的优势。
1. bs=1 （不并发）
2. 轻 prefill 负载（仅类似 chatbot 任务，没有 rag 这样的工况）
3. 静音与便携
4. 需要跑较大的模型（很慢但能跑）
---
一旦你要并发或者重 prefill 任务就会原地爆炸，被多消费卡方案杀出几十上百倍的吞吐都不是不可能的。就算你不考虑吞吐只是单线程，也只有跑 MoE 的时候有比较显著的性价比优势，可惜这 128G 左右也没啥合适的 MoE 。
综合意见就是，大体上优势只有功耗静音。Ultra 的话能装下 R1 还有点看头，Max 除了功耗这些外围的基本可以说没什么跑 LLM 的优势。
19 天前 回复了 ayang23 创建的主题 › 分享发现 › 这道数学题能让目前所有 AI 原地爆炸 |
@wulili 每个周期内水位是先升后降的，19.6 小时处的那个尖峰其实已经注满了，19.6 是考虑了这一点下的结果。你直接忽略内部过程按周期看就是不一样的，但是你不能说 19.6 是错的
19 天前 回复了 ayang23 创建的主题 › 分享发现 › 这道数学题能让目前所有 AI 原地爆炸 |
o3-mini-high (api): 19 小时 36 分钟。
promptTokens=126, completionTokens=4342, 总时间=32s, tps=136
promptTokens=126, completionTokens=4342, 总时间=32s, tps=136
20 天前 回复了 shuiguomayi 创建的主题 › 问与答 › 3000 元以内最强半高刀卡显卡推荐？ |
半高刀卡限制太严格了，技嘉有张 4060 Low Profile ，不过 8G 跑 14B 还是太勉强了
22 天前 回复了 fengc 创建的主题 › 问与答 › Windows11 内存占 48%，但是启动一些应用总是报错、崩溃，请问大家这是为什么，该如何分析问题 |
跑 memtest ，大概率内存本身就有问题
Select Language