本地部署 deepseek 70B，回答乱码

[weishao666]

本地部署 deepseek 70B 的模型，问答几轮之后就乱码了，怎么回事？我同事说一般部署的本地模型多轮问答之后就可能会有这个问题？

[superkkk]

温度，启动命令，硬件配置？

[weishao666]

@superkkk 不了解，还有这方面的差异？

[chairuosen]

这个问题可能是彩神争霸大发快三 天天中彩票中大奖 ...

[superkkk]

@weishao666 肯定有关系啊，你啥也不说就一个截图，没办法诊断啊

[salor]

如果是量化过的就是量化有问题，换一个。

[gigishy]

国内的模型，说三遍：
不要量化版！
不要量化版！
不要量化版！
比较大概率这个原因。

[coefu]

@gigishy 不用量化版本，有那么多资源？而且，量化技术，实际上损耗很低了。unsloth 的动态量化 8bit 可以达到 95%+ FP16 的效果。

OP 这个问题，主要是：
1 ，deepseek 70B,已经很落后了。
2 ，OP 的问题，知识库里没有，还要联网搜索。

不过，我看情况猜，大概率是用的 没有动态量化的普通量化版本，而且还是类似于 2~4bit 之间的。

[coefu]

qwen3.5 4B 8 bit 都比 deepseek 70B 要强。

[oldlamp]

可以考虑看看上下文设置的多少，另外这个模型当初就不太行，现在比他强的更是多了去了。
omnicoder-9b 可以试试，基于 qwen3.5-9b 的魔改。

[gigishy]

@coefu #7 我不同意你的观点。
即使本地部署量化 70b ，也说明 op 的硬件并不多差。
从 op 描述而言，他在乎地首先是能用，能好好用，不部署 70b 量化，就硬件而言超过 32b 以上的非量化模型都能实际有用了。
目前本地（！） ai ，首先考虑的应该是准确，其次才是能力。真需要更多能力，要么升级硬件，要么 Gemini 等云 ai 。