matchalatte

个人拙见：多后端框架存在着很多难以解决的问题，
- 深度学习后端一直存在动态图/静态图两个流派，想同时兼容这两种是很困难的。特别是一些网络需要用到动态图特性，这种操作在静态图中基本无法实现。
- 从框架中抽象出的“兼容 API”反而会没有办法很好的利用各个后端的独特功能，因为兼容舍弃了特色。
- 由于多做了一层转换，在需要对底层代码进行修改时会更加复杂，层层嵌套的代码可读性也比较差。
- 后端框架会实时更新，一些 API 会被废弃（点名批评 TF ），而作为多后端框架一次一般只能兼容单个版本，更新维护也比较费时费力。

鉴于这些弊端，多后端框架一直不是很流行，并且使用时并不一定能降低开发难度。

目前从生态角度 Pytorch 应该是支持最好的，可以考虑通过 pytorch 训练，而在部署时将模型进行一定的转换，从而实现更好的兼容，例如：

- 开放机器学习格式 ONNX： https://github.com/onnx/onnx ，通过 ONNX 作为中间媒介也可以让 pytorch 模型在 tensorflow 等框架中加载运行。

- 苹果 CoreML 模型格式（实际上也是基于 ONNX 转换的）： https://apple.github.io/coremltools/docs-guides/source/convert-pytorch.html

- 目前 LLM 端上部署比较主流的 GGUF 格式： https://github.com/ggerganov/llama.cpp/blob/master/convert-hf-to-gguf.py

@matchalatte #7 所以在英文里其实是两个单词，只是翻译成了同一种

@Muniesa #5 量化交易的量化应该是 Quantitative ，应该表示的是一种科学研究的技巧，比如定量分析 vs 定性分析。这里的量化应该是指“可以用数值衡量的意思”，通过统计学手段代替主观的交易倾向。

而模型量化英文是 Model Quantization ，Quantization 是一种将连续数值转化为离散数值的手段。在 AI 里一般的用途是用来压缩模型，因为模型权重在训练时一般是用浮点数表示的，而常见的浮点数形式 fp32 或 fp16 都比较占空间，转成 int8 或者是 int4 可以节约显存占用，提高模型在端上设备运行的可能性。现在的一些芯片（如高通、苹果）的 NPU 也会对整数计算做一定优化，提高量化后模型的运行效率。

是 python 吗，用 gradio 跑一个网页交互界面也许更简单

没有了解过大华的 SDK 形式，不过我查到一个帖子，不知道有没有帮助？
[知乎] 读取多个(海康\大华)网络摄像头的视频流 (使用 opencv-python)，解决实时读取延迟问题
https://zhuanlan.zhihu.com/p/38136322

近些年 AirDrop 变得特别容易失败，共享剪贴板卡住或者粘不出东西，Handoff 抽风。Mac 的中文输入法 bug 也不知道多久了。
本来互联是苹果生态的护城河，但现在越来越烂。加上硬件挤牙膏，软件服务（ Apple One ）连续涨价，有种交了苹果税但是又没有获得应有体验的感觉。

训练还是比较困难。如果真的要训练的话，可以采用 LoRA 等高效参数微调的方式。
但是现在的 LLM 都是指令模型，微调并不是直接将文档放进去就行，而是需要构造问答形式的数据。如果只在文档上训练得到的模型就只有补全能力，并不具有针对问题回答的能力。

举个例子，如果直接将唐诗三百首喂给模型。你给模型输入“怀民亦未寝”，它能够继续续写。但你如果说“请给我写一个有关月亮的诗”模型就无法可靠输出，因为训练数据里并没有这样的指令形式。

目前主流的方法还是使用知识库，将文档放到一个基于向量的 KnowledgeBase 中，每次提问时自动在知识库中检索相关条目，拼接在上文里进行提问，也就是检索增强生成 Retrieval Augmented Generation (RAG)。
这种方法不需要对模型进行训练，因此可以使用本地部署的模型，也可以直接调用 OpenAI 的 API 。
现在已经有许多相关的框架了，如 [LangChain]( https://github.com/langchain-ai/langchain) 或是对 LangChain 的高层封装 [Chatchat]( https://github.com/chatchat-space/Langchain-Chatchat)

不知道 Keychron M3 （还有 mini 版）怎么样。
三模，有 type-c/usb-A 两种接收器，也能编程按键。
不过我已经有 Anywhere 了，暂时不打算换，所以观望一下。Anywhere 的电磁滚轮对于我来说有点难以割舍。

@ReZer0 #4
看起来像是网络波动导致 css 加载失败，可以 F12 看下是不是报错提示 css 缺失。
“打开后基本就不会在同一个页面复现” 这个应该是浏览器把 css 缓存了，所以再打开就不会有问题。