大模型“涌现”出能力，到底什么是“涌现”

[yang0327519]

写程序，咱们习惯了确定、可复现性，所以始终不能彻底理解这个“涌现”，总是说不清道不明的

大家理解啥叫“涌现”吗？这个“涌现”到底是怎么来的？

也看了些文章，始终没彻底理解

[sentinelK]

我理解的“涌现”就是我们人类没能发掘的文字上的统计学联系。导致从现象上，就像是 LLM“自我觉醒”一样，突破了统计学的历史过拟合。

比如阿尔法狗，是个纯的机器学习算法，从过去的机器学习理论中来讲，阿尔法狗的下法是一定不会突破他的学习资料的。

但实际与李世石的博弈中，阿尔法狗出各种怪招，李世石完全没法招架。

[radiohide]

可能不准确，但是你可以想象一下当训练的数据量大到一定程度，训练使得模型内部自动形成一个包括大部分人类知识和习惯的结构，任何的问题对于模型来说都不是完全未知的，当你问问题，模型就像信手拈来一样能从他的结构里拿出来你想要的答案，这就是涌现。

[xiaoyuanei668]

用小学生能理解的话来讲就是，训练的样本材料很多了，量变引起的质变

[uqin]

水分子本身不“湿”，大量水分子成为“水”就涌现出“湿”

[znedyrk]

复杂的神经网络在宏观上表现出推理、语言理解、抽象等能力

[maolon]

涌现最早定义的时候指的是大模型在 scaling 之后出现了在训练中从未训练过的处理某项任务的能力，所以才是“涌现”能力 / 智能

[strobber16]

不建议在 V2 讨论 AI 日常使用以外的 AI 话题。
你去问 gemini 都比问 V 友靠谱

[yuruizhe]

@maolon
处理某项任务的能力，未训练过，但推理时存在
我一直好奇，有没有具体的例子？
处理什么任务的能力？
如何确保预训练集+后训练集不存在此类任务？

[xiaojianghu]

量变引起质变

[maolon]

@yuruizhe 论文，请 https://arxiv.org/abs/2206.07682

[jacketma]

人脑就是涌现的典型案例。按照还原论，人脑也是一对原子的聚合物，每个原子的性质无外乎原子核电子等，但是无数原子聚合在一起，显示出单一原子从来没有的性质“意识”。意识就是大脑这个原子聚合物的涌现出来的性质。

[XnEnokq9vkvVq4]

这本来就是很难的哲学问题，请阅读 https://iep.utm.edu/emergence/
https://plato.stanford.edu/entries/properties-emergent/

[dko]

涌现 yǒngxiàn
(1)在同一时期大量出现[事物或人]
(2)突然出现
https://zd.hwxnet.com/search/hwxE6hwxB6hwx8C.html

[ChopperLin]

@strobber16

你说的太对了。论坛确实只适合吹牛逼，大部分讨论起来都是漏洞百出。

涌现本来也没什么确切的根因，它只是一种现象。

AI 炼丹师在训练大模型的时候，发现参数小的时候，训练 loss 怎么都下不去，模型学不到东西。但是当参数大到一定程度的时候，突然就能学会了，loss 急剧下降。

具体什么原因都是一些猜测分析，比如彩票假说，当你模型参数量大到一定程度的时候，内部存在多种结构，就像多张彩票，总有一张是能中奖的，也就是 loss 沿着这个计算路径能够下降。这只是其中一种，但是也有很多反对的意见。

总的来说就是，直接带着问题问 AI 就行了，比在论坛瞎吹牛逼靠谱多了。

[zuokanyunqishi]

结构 + 算法 + 量变 -> 质变()

[weilongs]

生物、动物, 那么多细胞的结合、协作也是涌现吧.

[szdosar]

量变积累发生质变。

[cheap]

你天天看美剧 看外国博主旅游视频,突然有一天你发现没有字幕你能懂其中的内容了

[MagicalCarl]

：嗯，这只是简单的加法、乘法和求导，拟合一个函数，插值预测，一切都说得通
（改了一种架构）
：嗯，它居然会预测下一个出现的字的概率，只是简单的数学统计罢了
（增加了亿点参数）
：卧槽怎么这么聪明了，什么原理，一切都说不通了

“涌现”

[realJamespond]

涌现概率就是按人的意愿出现的方向的概率

[molvqingtai]

就像蚂蚁蜜蜂一样，个体智能并不高，但是组成群体之后就涌现出了群体智能

[zackkk]

就像你生活了几十年，问你学大学了什么，去年经历了什么，你一下子说不出来。 但让你讲一个什么事情，你却能讲得头头是道。 你学过的东西，顺着你的思维流到嘴边，涌现出来，变成语言。

[jinsongzhaocn]

涌现也会进化。解决一个问题需要 5 个知识，掌握了 4 个就不能涌现。所以回到古代，小学生就能涌现，现代就需要大学生，未来得靠 AI 。

[crackhopper]

好古早的术语，哈哈。我个人理解：模型玩文字接龙的时候，越来越六（仅仅是模型变大，就变六了）。随后突然表现出了有“智能”的感觉（关键是没人可以严格定义什么是智能，看起来像是 因为可以接龙更长，捕获了文字的统计关系，进而建立了概念的链接；最最重要的是，随着可以连接的概念越来越多，chain 越来越长，表现开始接近人类）

[ijammy]

可以看一下凯文凯利的《失控》

[iApp]

人学知识开窍了,你觉得人从小到大学进脑子的到底是什么

[killva4624]

这个词我最开始听的时候还是在游戏设计里,即“涌现式设计”：
创建几个简单的底层规则或系统相互交织、作用，在宏观层面上演化出开发者并未直接编写、却自然而然产生的新特性、新行为或新体验。
再通俗一点，就是要设计可能性与规则的框架，而不是做预设结局与体验。这样玩家就能创造出连开发者都惊叹的游戏体验。

举个例子：游戏里常见的“点燃”，一般的游戏会让怪物具备“点燃”特性来制造伤害，但赛尔达把“点燃”作为基本的物理规则，即可以通过火焰点燃所有物品，再进一步，不仅能点燃，还会产生“热量”，加上“风力”，就出现了“上升气流”等等....利用这个简单又合理的物理框架，能做出许多意想不到的动作。

[passion336699]

读书百遍其义自见的感觉吗...

[cenbiq]

“涌现”就是一堆微观原子的东西聚在一起，因为互相之间的关联而自然产生了某种原本不存在的宏观功能，背后可能透露着数学对微观和宏观的关系起到映射作用，个人理解

[ion1ze]

awake 悟了