有没有一些小一点的 llm 项目可以在 k8s 上跑的炼丹

[xinmans]

我只有一块 3080 的显卡，现存 8g ，想玩玩 llm

[frankyzf]

Ollama

[xinmans]

@frankyzf cool,还有其他的吗？

[frankyzf]

@xinmans 不知道其他的了

[GeekGao]

https://github.com/kuleshov/minillm

[frankyzf]

另外说一句，Ollama 是一个平台（ https://github.com/jmorganca/ollama ），能支持多个模型。Mistral (7b)模型好像评价比较高。

[xinmans]

@frankyzf 已经开始试用了，谢谢

[xinmans]

@frankyzf ollama 可以训练自己的数据吗？我看都是训练好的模型

[frankyzf]

@xinmans 这个不知道，只看到有人在讨论 fine-tuning https://github.com/jmorganca/ollama/issues/156