@isouu Chat 模型，训练数据是一些大 V 的回答

@iorilu
Yi-6B 就挺好的，预训练数据里已经有好多小说数据了。
如果还想更小一些，还有 RWKV ，不过相关的生态比较少。

embeding 用这个： https://huggingface.co/moka-ai/m3e-base

@iorilu 只想双显卡加快训练速度的话，用 huggingface 的 accelerate 库就可以了，官方文档： https://huggingface.co/docs/accelerate/index

不过它只支持数据并行，所以不能解决那种一块显卡显存不够，用多块才够的问题。

之前看过一些框架，据说支持把模型拆分到多块显卡上训练。例如 DeepSpeed 、ColossalAI 之类的。只是我还没成功跑起来……

想给大家分享几点：
1. 虽然个人制作一个预训练模型不太现实，但是其实微调模型的门槛很低；
2. 如果你只有 6GB 显存，可以尝试微调 Qwen 1.8B 。虽然不能指望它给你准确回答问题，或者帮你写出正确的代码，但用于只需要想象力的文学创作方面还不错；
3. 零一万物的 Yi 系列模型其实很强，尽管中文互联网上讨论得少。主要优势在中文写作上。虽然它不那么遵循指令，然而 34B-Chat 的中文写作质量真的可以超过 GPT4 ；
4. 除了在 LLaMa 1 刚出来的那个时代，实际上，参数量大的开源模型效果往往不理想。参数量小的开源模型反而更实用；
5. 不要迷信 M2 Ultra 192GB ，想玩出花样，目前看来，NVIDIA 仍然是首选。


说说为什么参数量大的开源模型效果不理想吧。其实最大的原因在于参数量越大，训练成本越高。哪怕对于商业公司来说，预算也不是无限的。训练大模型其实有很多复杂的工程问题，需要多机器的都不简单。

参数量小的模型因为训练成本比较低，很快就能迭代新版本，不断地追加训练数据。
于是，小一点的模型相比大一点的模型，训练得更加充分，数据也更多样。
对商业公司来说，也更适合尝试不同的训练方法。全参数训练 6B 模型最低其实只要一块显卡，60 多 GB 显存。

还有，为什么不要迷信 M2 Ultra 192GB 。
我尝试了市面上绝大多数比较受欢迎的模型（仅中/英文），绝大多数有用的模型都在 1~34B 内。其中又有几乎 95%的模型在 1.5~14B 这个范围内。

M2 Ultra 192GB 的优势则是可以在输出效率能接受的情况下尝试 70B 、120B 、180B （只有一个）的模型。
不过很快你就会发现这些模型一点用都没有：
写作很差，都是那种总-分-总的议论文结构，而且非常机械、死板；
写代码或者回答问题都是错误百出……写代码最好的模型大多数有 34B 左右的参数量；
角色扮演也很无趣，输出实在是太正经了。无论扮演什么，都像在跟售后客服聊天，而且服务范围很有限。最好的角色扮演模型大多数是 13B 左右的参数量。原因很简单，网友自己微调模型，能接受的最高成本在这里。

另外大型语言模型其实可以量化运行，而且性能损失很小。llama.cpp 的 Q5_K_M 量化几乎不影响写作性能，依然能保持和 fp16 同等的质量。只是输出的内容不完全相同。

如果想用 M2 Ultra 192GB 训练模型，其实并不好使。坑很多，有这些：
运行不一定报错，但是训练出来的模型可能是废的。还不好排查问题在哪，网上没人讨论。比如，训练 Stable Diffusion 的 LoRA 拿来用，输出的图都是黑的……
训练速度超级慢。要是模型本身就不大，其实用 NVIDIA 游戏显卡坑少效率还高。模型大到 NVIDIA 游戏显卡跑不起来的情况下，训练速度就相当慢了。你不会愿意把它放着跑个一两年，还保持满载。

PyTorch 的 MPS 后端跑很多模型看起来“能跑”，但是有一些算子实际上没有 MPS 实现，会回退到 CPU 上跑。所以不能光看显卡理论性能。
在训练的时候，ANE 是完全用不上的（推理的时候能用上，但它只能做 INT8/FP16 卷积）。而 NVIDIA 显卡的 Tensor Core 能用上。

个人玩 LLM 最具性价比的选择是 3090 ，进阶选择是两块 3090 ，缺点是噪声比较大，主板和电源要求也高。
4090 在噪声方面好一些，但是现在还是太贵了。

不捡垃圾，不买矿卡，不魔改的情况下，入门选择是 4060Ti 16GB 。
只想体验一下的话，租个 VPS 玩玩，或者用 llama.cpp 用 cpu 跑……

最近微调了 Yi-6B ，能用来写知乎回答，能过知乎的 AI 检测……
虽然没什么用，但是好玩。比给 GPT 写各种各样的 Prompt 好玩多了。

目前还有不少问题，回答里会有很多广告、引流的内容。

这是一些例子：
https://i.imgur.com/2EsBuG9.png
https://i.imgur.com/mrJHfON.png

Note12Turbo 14.0.25 ，刚试了一下，没有复现
应该是 bug

@neiltroyer849 要续航也有选择：
AMD 6800H / 7840HS
Core Ultra 系列（刚出的）

我的小新 Pro14 （ 7840HS ）可以做到最高屏幕亮度写代码，同时后台跑浏览器+QQ+微信+各种小工具+笔记软件，真实续航 8 小时。网上看评测比较垃圾，后来我发现这电脑键盘背光的功耗堪比屏幕……
关掉键盘背光，续航从 6 小时多提升到 8 小时多。

比起 11 代之前的酷睿，已经是“显著提高”了。
当然，要想有 Apple Silicon 水平，那得等高通台积电工艺的 ARM 处理器。

这种商业模式能做，就是上手门槛太高的话，一开始不会有用户……
吸引用户使用的门槛应该尽可能低。

等用户有了更高级的需求之后，想到自己已经用了很久，改用其他项目成本还要更高，才会乐意在现有的项目上付费。

可以变通一下：
如果用户没有密码，可以先自动登录一个用户，然后通过 runas 命令以其他用户身份运行程序（这个命令不允许自动输入密码）
如果有密码，则用另一台电脑向这台电脑分别发起远程桌面连接……

我在小公司，没有远程开发环境。
电脑的话，公司给 5000 ，自己去买，用三年归个人……

如果 Python 和 Java 都在同一台机器上
用命名管道来传数据就好了

看到不少人说没有
我感觉颜值比 MBA M2 好的笔记本不少啊。现在的 MBA 模具已经没有上一代那么好看了，而且还有刘海屏……

若是拿 MacBook 最长的长板去跟其他产品比，那么确实在任何时候都会得出“没有”的结论，毕竟什么时候都能找到至少一项优势。
除非 MacBook 跟其他笔记本比真的没有任何优势了。

@klo424 我也有小米 6 ，那玩意拍照效果和拍照体验确实不行。不过其实当时的情况是这样：
1. 设计小米 6 的时候，小米公司还没有专门的影像部门。到小米 8 的时候就有了
2. 那时候拍照还在追求“把夜晚拍成白天”，再加上 DXO 测的那些项目。而拍照的体验则不在考虑范围内

其实到小米 10 的拍照体验都不是很好，拍的时候要做一大堆计算，转圈转一会才能成像。部分非小米手机今天仍然是这种体验……

小米 12s 以后的手机拍照体验都特别好了。

我很久以前有一个想法，歌曲都保存在手机里，因为出门都会随身带着，随时都可以听。
配套一个电脑版，手机版连接电脑之后，会一直后台运行作为音乐服务器，在电脑上播放存储在手机里的歌曲。

不知道有多少人能接受这样的设计。

联想 yoga air 14s 2023
华硕灵耀 14 2024

@mumbler 那得先把模型转成 openvino 的模型。其实坑挺多的，一年前我就在干这个……

可选功能里安装简体中文，繁体中文，日文补充字体

一直用 vscode