这是一个创建于 48 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近有人说 DeepSeek 是蒸馏了 ChatGPT 的，以此来降低成本，有没有大模型领域的佬来解释下，业界内这种做法算常规吗？
然后我突发奇想，如果两个模型互相蒸馏，反复进行，最终它们会变成一个模型吗？比如说回答的内容会变成一模一样的。从技术上如何解释？
 |
1
Muniesa 48 天前
这个叫 deep mutual learning
|
 |
2
my101du 48 天前  8
这一片红花绿草，在太阳的照耀下，光影投射到地面，多么美丽啊！
光影照着花草，多美！ 草！美！ |
 |
5
YogaHale 48 天前 via iPhone
参考近亲交配
|
 |
6
hefish 48 天前
直接蒸干了。。。
|
 |
7
renmu 48 天前 via Android
ai 模型的语料不就是抄来抄去，再加上已经部分语料已经被 ai 污染了
|
 |
8
Izual_Yang 48 天前
你就类比图片转码。高分辨率高质量往低转，肯定损失信息，有损编码更加损失。低分辨率低质量往高转，信息量摆在那里不可能凭空生成，虽然有可能训练模型从同类图片去推算，但也只是推算的，就好比 AI 模型也会产生幻觉
|
 |
9
houshuu 43 天前 via iPhone 1
模型的结构是可以做成不同大小，不同结构的，所以在不同项目上的表现也大概率有差异。训练时本身的随机性也会导致不同初始状态的网络产生差异，那么相互学习就能够从其余网络中把这些优秀的特性汇集过来。蒸馏不是抄作业答案而是把目标模型当作老师学习，逐渐让自己能够达到老师水平的感觉。是可以用算法设计把不如自己的部分无视掉的，相互学习相当于好几个学生互相切磋琢磨的过程，理论上是能提高的，大概 5 年前这个概念也是相当火爆
|
Select Language