线上部署 llama 2 的最佳方式是什么？

[livc]

想到的几种方式

1. 本地跑
2. 用 replicate 的 api
3. 用 aws 或微软的 api

[jangit]

线上部署第一种是不大可能的，还是要等 gptq 支持，不然现在 7b 以上消费级显卡都不够跑的

[captray]

https://huggingface.co/blog/llama2#using-text-generation-inference-and-inference-endpoints

[livc]

@captray #2 感谢 有预估需要多少钱吗

[GL8885]

本地应该是能跑的，量化过的模型可以用 CPU 加内存跑，一个好点的主板最多可以插 192G 内存，主要是这样推理很慢。

[AIGod]

用 GPU 服务器部署呢，如 V100 的服务器