有大佬有实际的实践经验吗
有大佬有实际的实践经验吗
1
wenhuibrave Aug 21
https://lmstudio.ai/ 下载 lmstudio 在里面下载大模型,会自动推荐适合的大模型
|
2
Yishanshan Aug 21
|
3
l764191074537 OP @wenhuibrave 我是准备买,所以想了解一下 token 的速度。
|
4
l764191074537 OP @Yishanshan 也不全呀,没有 m1max 64g 也没有 m4 pro 48g
|
5
Yishanshan Aug 21
@l764191074537 #4 把你电脑邮给我,我给你测一下
|
6
ericFork Aug 21
MTPLX 跑 qwen3.8-27b ,大概十几到 20 tok/s
|
7
l764191074537 OP @Yishanshan 我还没买了呢
|
8
l764191074537 OP @ericFork 我擦大佬同款配置已经试过了吗
|
9
maybestone 5 days ago
m5max 128g 都试过,感觉稠密模型都很慢。。 稀疏模型 35b a3b 那种还行。。然后跑模型时候感觉飞机起飞了 声音也有点大。。。 可能更低量化的会好点,但我感觉挺鸡肋的
|