1119745302 最近的时间轴更新
1119745302

1119745302

V2EX 第 225852 号会员,加入于 2017-04-13 15:09:45 +08:00
今日活跃度排名 13011
根据 1119745302 的设置,主题列表被隐藏
二手交易 相关的信息,包括已关闭的交易,不会被隐藏
1119745302 最近回复了
121 天前
回复了 CNYoki 创建的主题 程序员 ollama 本地模型 GPU 跑不满
@CNYoki llama.cpp 似乎不支持张量并行,就算 4 张卡显存占满了也跑不快. https://www.bilibili.com/video/BV1DH4y1c7gK/ 可以参考一下这个, 换个 vllm 啊啥的后端一般就是随便跑了
121 天前
回复了 CNYoki 创建的主题 程序员 ollama 本地模型 GPU 跑不满
换个后端?
@yudoo 加钱买个年代近点的吧, 上面提到的这些现在真的是远古时代的宝贝了
@Beeium 不介意捡垃圾的话,一万五就捡两张 3090,再随便捡个平台插上就完事了. 两张 3090 除了那种超大的模型其他模型量化一下随便跑而且速度可以接受. 推理用 github 上的 llama.cpp 就行,然后模型就上 hugging face 上找就完事了
https://arena.lmsys.org/ 开源 llm 已经快摸到 3.5 阉割版的屁股了
334 天前
回复了 SteveHou 创建的主题 OpenAI ChatGPT 会无端使用中文来回答英文问题
有没有可能是偷偷获取了浏览器语言
@wu67 和小绿书 55 开的内容质量... 完全没看的必要
5 级这要求太高了
2023-06-11 05:52:52 +08:00
回复了 s04 创建的主题 Android 请问红米 NOTE 12 TURBO 刷机后还能收到后续版本的推送升级吗?
@ysc3839 说是这么说其实好像不管
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1734 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 13ms · UTC 16:43 · PVG 00:43 · LAX 08:43 · JFK 11:43
Developed with CodeLauncher
♥ Do have faith in what you're doing.