V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
This topic created in 506 days ago, the information mentioned may be changed or developed.
我跑了一个 llama2 ，速度好慢啊
curl -X POST http://localhost:11434/api/generate -d '{
"model": "llama2",
"prompt":"Why is the sky blue?"
}'
用官方的指令，竟然花了 1 分多钟，才回答完……
大家的 mac mini 跑的都是什么本地模型？
curl -X POST http://localhost:11434/api/generate -d '{
"model": "llama2",
"prompt":"Why is the sky blue?"
}'
用官方的指令，竟然花了 1 分多钟，才回答完……
大家的 mac mini 跑的都是什么本地模型？
 |
1
qiancheng Jan 22  1
afmd 可以看看大佬弄的苹果自己的本地模型 API ，速度还不错，对资源占用少
https://github.com/iqiancheng/afmd#readme   |
Select Language