想升级一下自己的电脑配置，跑下大模型玩一玩，我想用大模型做自己的个性化助手，有这方面经验的大佬吗，跑大模型在训练什么数据啊
 |
1
cloud2000 9 天前  1
你问的很泛，所以很泛的答 2 句。
16gb 显存起步，才能跑稍微"像 gpt-3.5"的模型。准备好了就谷歌，到处都是资料。 |
 |
2
sarcomtdgzxz 9 天前
智谱的模型 运行就 12g
|
 |
3
gorira 9 天前
少爷先来一台 128G 的 M3max 吧
|
 |
4
imes 9 天前
“跑下大模型玩一玩”用 llama.cpp 就可以了，内存 32G 可以轻松跑起来 Q8 量化的 llama2 13B 版本，连 GPU 都不需要。
“跑大模型训练数据”，起码得 4 块 V100 和 256G 内存才能顺畅的调试。 想调试模型，可以参考我的服务器配置，自己组一个：  |
 |
5
ShadowPower 9 天前
配置升级的选择：
预算低，无动手能力： 4060Ti / 2080 魔改 22GB 预算最低，有软件+硬件方面的动手能力： P40 24GB （性能不是很强，但显存带宽还不错，694.3 GB/s ） 高预算： 双 3090 （对主板/供电要求很高，还需要一个房间来放，因为很吵） 另类选择： 买一台 Mac Studio M2 Ultra 192GB 内存 只能玩 llama.cpp ，生态差了点，训练不行 |
|
6
ShadowPower 9 天前
如果你的电脑有 8GB 以上的内存，我建议不升级
先用 llama.cpp 玩一下 4bit 量化的模型 如果觉得 llama.cpp 用起来麻烦，用这个： https://github.com/LostRuins/koboldcpp 或者这个： https://lmstudio.ai/ |
 |
8
suqiuluck OP @ShadowPower 了解了，感谢大佬回复
|
 |
9
Mark24 9 天前
钱包不允许
|
 |
10
NoOneNoBody 9 天前
站内有人发过用自己的聊天记录训练的（年初的帖子，全文在其 blog ），你可以参考一下
要玩训练模型我是耗不起，基本看前几段就劝退我了，还是继续玩我的小模型好了 |
 |
11
Rnreck 9 天前
@NoOneNoBody #10 有链接吗，去看看
|
|
12
NoOneNoBody 9 天前 2
|
 |
14
kuanat 9 天前
硬件选择楼上已经说了，显存要够大才能跑大模型。
如果你在生产机器之外需要一个开发验证平台，现在 4060 移动版的笔记本非常合适。相对台式显卡溢价低，8GB 对于验证程序来说够用了。关键是 40 系的能效比很高，而且价格非常卷。 |
 |
15
cwyalpha 9 天前 via iPhone
4060ti 16g 双卡可以用来训练或者推理麽？
|
 |
16
CaptainD 8 天前
我用 3060ti 8g 去跑 LLAMA2 7b ，只能设置精度为 8bit ，而且推理速度很慢
|
 |
17
leipengcheng 8 天前
我之前用 4060 的游戏本跑过，后面感觉还不如直接用 gpt 呢。。。
|
Select Language