ollama 是个可以跑多种大模型的平台,可以跑 llama2, mistral 等。我机器比较老,windows 10 ,32G 内存,只有 2G 显存。但看起来速度还可以接受( mistral ),下载模型也只需要几分钟。安装完用的 mistral ,即后面这个命令ollama run mistral。当作本地的 code 助手应该比较方便。
ollama run mistral
下载链接