anyutianmin's recent timeline updates anyutianmin's recent timeline updates |
anyutianminV2EX member #404863, joined on 2019-04-23 11:40:52 +08:00Today's activity rank 3020 |
anyutianmin's recent replies
14h 41m ago Replied to a topic by cjkcjkcjk › 程序员 › 本地机器能跑 DeepSeek v4.1flash 或者 Qwen3.8 得多少钱？ |
qwen3.8 的哪个模型？ 27b 的话，最便宜的方案应该是 170hx ，解锁的 64G ，现在涨价了，2W ，配个垃圾的 U ，16G 内存，差不多 2.5W 搞定，开 MTP 应该能达到 60 多 TPS ，够一两个人一起用爽了；不过这卡没有 NV 的质保，差不多价格的话，上 4090 ，现在快 3W 了，应该能刚好达到 3W 以内的要求，不过只能上 fp4 量化的版本。
3.8 flash 的话,用 fp4 量化也能上，也是一张卡。
如果要上 ds v4.1 的话，七百多 B 的参数量，其实已经不能算 flash 这一档的模型了，五百多 G 的显存，如果都用显存跑的话，基本得八卡才行。不过看场景，如果只是要部署对 tps 没有要求，用内存甚至 SSD 跑的方案会便宜很多；不过基本是没法用；其实这种更推荐上 ds v4 flash 或者 glm 5.3 flash ，不知道 m3.1 flash 多大，部署这些模型反而更划算。
3.8 flash 的话,用 fp4 量化也能上，也是一张卡。
如果要上 ds v4.1 的话，七百多 B 的参数量，其实已经不能算 flash 这一档的模型了，五百多 G 的显存，如果都用显存跑的话，基本得八卡才行。不过看场景，如果只是要部署对 tps 没有要求，用内存甚至 SSD 跑的方案会便宜很多；不过基本是没法用；其实这种更推荐上 ds v4 flash 或者 glm 5.3 flash ，不知道 m3.1 flash 多大，部署这些模型反而更划算。
Sep 29 Replied to a topic by liliang13 › 推广 › 各位小微企业创业的大佬，欢迎联系我购买财务软件 |
@bzkmsjy 语音输入+AI 财务？这个做出来有需求吗？
Sep 20 Replied to a topic by lowfrontend › OpenAI › 真没想到啊用 astra 最先撑不住的居然是我的梯子流量 |
codex 不会也像 zcode 一样打包代码上传吧
Sep 7 Replied to a topic by snownemo › Codex › Codex 又有 1000 邀请额度了，有条件的留邮箱 |
借楼，同样 1000 额度，需要的 @我
Aug 11 Replied to a topic by andrewz › 程序员 › GLM 老 pro 会员， token 吞吐率慢的可怜 |
@wang93wei 大佬这个 decode 的统计的地址是啥呀
Select Language