 |
hutngV2EX 第 363765 号会员，加入于 2018-11-17 11:39:21 +08:00 |
hutng 最近回复了
1 天前 回复了 tool3d 创建的主题 › Local LLM › 半个小时前， ollama 上线了目前单显卡里，最强的中小模型 gemma3 |
@google2023 我是 3090+tesla t10 ，显卡成本 7.5k ，q8 15token 左右。2 个 2080ti22g 更便宜，5k
1 天前 回复了 tool3d 创建的主题 › Local LLM › 半个小时前， ollama 上线了目前单显卡里，最强的中小模型 gemma3 |
@follow 非大佬，纯小白。推理模型 qwq 32b 的 q4 就可以，实际占用显存 20G 多点，4090 、3090 都可以，便宜点 2080ti 也行。目前感觉比 r1 蒸馏的 32b 强很多。唯一的问题就是思考的过程有点长，回答的精细度、准确性非常好。
1 天前 回复了 tool3d 创建的主题 › Local LLM › 半个小时前， ollama 上线了目前单显卡里，最强的中小模型 gemma3 |
@openmynet #21 确实，google 的 aistudio 上就是 1 。
aistudio 上试了一下 27B 的模型，光数学上来看，准确性一般，比 qwq 差远了（当然了，直接这样比较推理模型和非推理模型不是很公平）
aistudio 上试了一下 27B 的模型，光数学上来看，准确性一般，比 qwq 差远了（当然了，直接这样比较推理模型和非推理模型不是很公平）
1 天前 回复了 tool3d 创建的主题 › Local LLM › 半个小时前， ollama 上线了目前单显卡里，最强的中小模型 gemma3 |
@hutng #18 ollama 官网也得是：12B parameter model (128k context window)。我比较好奇这 128K 的上下文窗口是怎么来的。ollama 默认都是 2K ，128K 不爆显存吗？
1 天前 回复了 tool3d 创建的主题 › Local LLM › 半个小时前， ollama 上线了目前单显卡里，最强的中小模型 gemma3 |
@hutng 刚用 ollama 测试了一下，12b 模型，效果一般。老是报错，Error: POST predict: Post "http://127.0.0.1:35039/completion": EOF ，不知道怎么回事，可能是我的环境问题。
1 天前 回复了 tool3d 创建的主题 › Local LLM › 半个小时前， ollama 上线了目前单显卡里，最强的中小模型 gemma3 |
开源模型生机勃勃了，好事，deepseek 开的好头。
QWQ 32B q8 两张显卡 40G 正好够，已经感觉和 deepseek 满血差距很小了，非常好用。
期待 gemma3 。
QWQ 32B q8 两张显卡 40G 正好够，已经感觉和 deepseek 满血差距很小了，非常好用。
期待 gemma3 。
3 天前 回复了 lifehz 创建的主题 › Apple › 换机了 mac air m3 24G 512G，开搞大模型 |
（无意冒犯）累死它也跑不过一张 2080ti
30 天前 回复了 xinmans 创建的主题 › 服务器 › 目前有一个台式机，想转成 PVE 系统，现有的 windows 系统可以迁移进去，如何操作？ |
pe 用 diskgenius 将磁盘备份成文件，文件考出来。
装完 pve ，新建虚拟机，pe 进去，恢复备份，修复一下引导就行
装完 pve ，新建虚拟机，pe 进去，恢复备份，修复一下引导就行
35 天前 回复了 xzg1993 创建的主题 › 问与答 › 是到年纪了吗，今天突然的觉得很多事情都很无趣。 |
记得上学的时候网吧 5 块钱可以通宵玩，现在倒给我 50 我都不通宵去，累死。
有兴趣、有精力就是有生命力的体现，随着年龄的增长生命力会不可避免的流失。
有兴趣、有精力就是有生命力的体现，随着年龄的增长生命力会不可避免的流失。
48 天前 回复了 shakukansp 创建的主题 › 生活 › 为啥洗碗机一定要买大小能放炒锅进去的？ |
如果不能洗锅，洗碗机的意义何在？
铁锅锈的比较厉害，我买的不锈钢锅，纹理也锈，倒是还行。
我理解：锅也是耗材，一两年换一次，可以接受。
话说回来，完全不用洗碗机洗，锅就能一点不生锈？
铁锅锈的比较厉害，我买的不锈钢锅，纹理也锈，倒是还行。
我理解：锅也是耗材，一两年换一次，可以接受。
话说回来，完全不用洗碗机洗，锅就能一点不生锈？
Select Language