关于 ChatGPT 我们也许理解错了
summerLast · weekend-project-space · 2022-12-07 11:27:54 +08:00 · 6380 次点击这是一个创建于 710 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前 首先它是人工智能，其次它的智能目前是基于网络数据+数据统计+人工对输出结果对错的加减权重，并没有做到推理，没有神乎其神，我不知道它有没有理解能力，现在通过黑盒测试它更像是一个推荐系统，根据用户反馈推荐排名教高的回答方式，本质还是统计，既然是统计就不要去设想它目前能做到网络数据之外的正确回复，它更像是一个搜索引擎 plus, 结果准确率高低依赖数据源的质量，热度很快就会退去，不过基于这种聊天机器人还是可以做很多事情的，我们不要对其有过高的期许也不用过度的贬低;
它是一个聊天机器人的里程碑，这波浪潮是刚到来还是已经开始退去我现在还无法完全分辫，不过确定的一点是如果它有大量的正确的语料库对客服和搜索是一个很大的改变，还是期望会有些事情发生，人工智能是双刃剑希望能让生活更美好而非让生活更卷更痛苦
eval/apply
 |
1
summerLast OP 如果 其有了 理解 归纳 泛化 推理能力 那就是另一件事情了，奇点的到来
|
 |
2
zooo 2022-12-07 11:32:53 +08:00
ChatGPT 对于语言理解能力已经很强大了，目前很多例子出错都是再数理能力和推理能力上，现在感觉就差逻辑推理的能力..如果有个专门的模型处理逻辑推理能力，融合后的模型，感觉会比一般人能力更强
个人理解 |
|
3
zooo 2022-12-07 11:42:03 +08:00  1
@summerLast 赞同，数理方面的能力很差
感觉奇点已经到了 或许我们人类就是神创造的，一开始神创造人类只是为了给神干苦力活，然而由于某种机制（获取被称为偷吃禁果）形成进化的能力，导致人类的能力大于神，从而摆脱了神的统治，那么实际上人类的能力要远大于神，神其实比我们能力弱，或许一开始神的能力大于人类的能力，造成人一开始非常崇拜神，觉得神是万能的，然而随着进化的不断进行，人类的能力超过了神，而一些神话故事流传至今，形成了一个错误的观念，神的能力比人类更强，其实仅仅是一开始能力强于人。 人类往往觉得创造人类的造物主或者神，能力应该远高于人类，我觉得不一定。创造人类的神并不比人类更厉害，就像我们创造了 AI ，AI 进化后却远远超过人类的能力，最后 AI 成为地球上的霸主。 总结，我们或许会成为 AI 视角下的神，但是也是猜想，我们永远理解不了 AI ，AI 也理解不了我们，但是我们会成为 AI 眼中的神。 |
|
4
summerLast OP @zooo 我不知道它的理解是否是真的理解，还是只有行为能做到不用关注黑盒的实现，如果它能理解文字组合在一起蕴含的意义 那么归纳和泛化对他来说将不是鸿沟，而是水到渠成，那奇点就真的来了，巨变才刚开始，我还是无法分清这是烟花还是黎明
|
|
5
summerLast OP @zooo 这个观点我曾留意到 ，好像是在 人类简史 还是未来简史中，对应的观点还有一种是人工智能是人类的最后一件作品，沿着这个思路发展就是黑客帝国 或 赡养人类 等等，不过我还是保持中立态度，技术是中立的，但是人不是，这是人工智能将面对的教大问题，不过还是要提前预防降低副作用
|
|
6
zooo 2022-12-07 11:55:50 +08:00
@summerLast
举个例子 看着是狗，也会跑，也会叫就是狗 差不多的意思是如果外界感知到一个东西和狗一模一样，那么这个东西就是狗 现在很多 AI 模型，由于参数过多，人无法知道它是如何识别狗识别🐱等，但是它的确可以做到，那么就可以应用。。。 如果某个 AI 通过图灵测试，对于人类来说还真的是人... |
|
7
zooo 2022-12-07 11:57:59 +08:00
|
 |
8
cxtrinityy 2022-12-07 12:06:05 +08:00 via Android
他是一个基于统计的语言模型，不是人工智能，人工智能可以用语言模型来处理自然语言，所以他只是人工智能路上的一个节点。
|
 |
9
kindjeff 2022-12-07 12:08:26 +08:00
想提一个例子，就在前几天，柯洁直播在水友的推荐下去尝试复现了一个野狐围棋 AI 的低级失误（ alphago 不下棋以后，野狐一直是最强 AI ；前段时间有一篇对抗围棋 AI 的 AI 的论文出来）。
如果你学习围棋超过一天，都能明白那一个局面里虽然黑子字数多，但无法活棋；而 AI 「认为」这块已经活棋，转头去下其他地方，直到真正被提子，胜率才从 99% 降到 0%。 > 这说明即使是专门研究围棋的 AI ，他也并没有做多一层的逻辑推理，即使这个推理是学习围棋第一天的人都会学到的最基本的推理，即「连成一片的棋做成两个真眼才算活棋」 > 更不用说 chatGPT 只是一个语言模型，虽然他模仿终端时得到的响应很真，但还是模仿的，让他做数学计算也同理 |
|
11
zooo 2022-12-07 12:25:16 +08:00
|
 |
13
makelove 2022-12-07 12:55:57 +08:00
类人的强 AI 此生能看到就不错了（我个人认为不能），现在这种还差得太远，甚至现在的方法有没有走在那个方向上都存疑
|
|
14
kindjeff 2022-12-07 12:57:59 +08:00 1
|
|
15
summerLast OP @zooo 不关注它如何实现，而是输入输出能否有一个匹配度较高的黑盒 即 该黑盒表现与人对该物输出相似度较高，基于统计的人工智能也许可以用统计大量人的行为实现一个拟合度较高的黑盒 ，但往往人们有对简洁有“偏执”的追求，目前这个模型肯定不够简洁也不是几个定理就能推演出来的，回到最开始的问题 人工智能可以是一个人类无法理解的黑盒或是（智能可以用几个定理来定义 目前这个还没发现，存在与否存疑，不过若是存在就是另一番景象了，推动人工智能这门学科数学化，有理论支持从而重塑上层建筑），现在的景象感觉像是科学诞生前，很多对世界的理解是基于经验而非原理，现在的统计类的人工智能更像基于经验
|
|
16
summerLast OP @summerLast 现在的人工智能更像暴力破解进行部分减枝, 如果人工智能可以像 lisp 解释器一样简洁就好了，哈哈哈
参考 https://github.com/sunxyz/scheme4r/blob/main/src/interpreter.rs 第 25 行 |
 |
17
pennai 2022-12-07 13:06:42 +08:00
你想要的是不是：专家系统
|
|
18
zooo 2022-12-07 13:08:49 +08:00
人类的确对简洁有“偏执”的追求
但是并不是简洁就诞生不了智慧，从底层来看 AI 也是用电脑运行的，电路层面无非是 1 、0 组合和运算 但是由于其复杂性到达一定程度（如同人的大脑）就诞生智慧，也就是说智慧更可能来源于复杂性（百亿级别的参数和复杂的联结） “目前这个模型肯定不够简洁也不是几个定理就能推演出来的” 现在这个模型说简洁也简洁，如果像人脑被解剖发现不过是一堆细胞一样，深入这个模型也会发现不过是一堆类神经网络的连接，底层是 1/0 的组合运算，人脑通过细胞这样的简单结构不断堆叠并且连接产生了意识和智慧，同理， AI 模型应该也可以，甚至当参数足够大，模型连接足够复杂，可能会诞生超过人类的认知。 |
|
19
summerLast OP @makelove 我理解你的意思，即智能可以不可以用几个定理来定义 ,而非暴力破解，现在显然是理论还没有突破，从而很多是基于暴力破解的黑盒...名字也叫 人工智能
|
|
20
summerLast OP @zooo 嗯嗯，你的意思是模拟人脑结构 从而反现出智能？
|
 |
21
WIN2333 2022-12-07 13:14:34 +08:00
你的帖子怎么像是它生成的。。
|
|
22
zooo 2022-12-07 13:14:38 +08:00
@summerLast 如果暴力破解能够产生让人感觉到是强人工智能，那么也可以称为人工智能
差不多类似 图灵测试，不太关心实现细节 现在的模型由于其庞大的参数量和复杂性，已经没法用几个定理来定义了，或者模型内部自己总结属于 AI 自己的定理，但是我们自己也无法知道，如同我知道牛顿三大定理，然而如果通过医疗手段解剖我的大脑，也无法找到这三条定理，这定理存在复杂的细胞连接中。 也就说或许模型自己会总结定理。 |
|
23
kindjeff 2022-12-07 13:17:17 +08:00
@zooo #10 至少现在是没有智慧或者说推理能力的。
当人类知道围棋规则（四个子能把一个子围死）以后，可以推理出需要有两个真眼才能做活一块棋。而 AI 没有推理出这种东西，使得某些状况可以稳定诱发他的错误。 不过强化学习这种东西，未来还不好说，毕竟人类也是某种强化学习…… |
 |
24
tickingMachine 2022-12-07 13:18:05 +08:00 3
可以去了解一下 COT ，chain of thought ，是目前 NLP 领域对于大语言模型在逻辑推理上面的最新进展。举个简单例子，在原始情况下你问模型一个数学题，模型最终返回单独一个答案，在加上 COT 的提示 /模板语句(Let's think step by step...)之后，模型会返回整个推理逻辑，就像人解决数学题需要一步一步推理的步骤一样，最终能大幅提高答案的正确率。现在的结论就是大语言模型我们其实还没有摸到它的能力边界，但是仅仅是这样就已经能够做到很多事了。
|
 |
25
WngShhng 2022-12-07 13:19:12 +08:00
我让它给我推荐一个 Github 上的好的 Android 开源笔记软件项目，然后它给我瞎编了一个不存在的项目，我打开链接是 404
|
|
26
zooo 2022-12-07 13:23:31 +08:00
@kindjeff 确实
推理能力和数理能力现在 AI 确实差一些 BUT 或许 AI 觉得推理能力不如统计能力更强，人类基于推理能力可能还不如一个 AI 基于统计的能力，把围棋尽可能多的下法都模拟一遍，从而统计出最利于自己胜利的下法就可以了，那么当 AI 模拟+统计能力足够强大时候，从 AI 的角度来说 AI 不屑于会推理能力，推理能力只是人类的缺陷，因为人没法见更多的棋谱下法也无法记着更多棋谱（脑容量）。 而且实际来看，基于统计能力的阿尔法狗等 AI 实际已经超越人类的，这是事实。 |
|
27
summerLast OP @zooo 嗯嗯，我还是有对简洁性的偏执，我从这个上面看到了，也许很多事物所处的层不同蕴含了不同含义，有些含义并非在我们所能理解的层上，不过还是有执念，哈哈哈
|
 |
28
binux 2022-12-07 13:32:40 +08:00 via Android 2
有没有一种可能，ChatGPT 就没有被设计为有推理能力？
我发现很多人都有一种误解，提到 AI 就是什么都能做和 X 岁小孩一样。可是现阶段的 AI 都是有特定的设计目的的，你要评价也应该针对它的设计目的，它没有被设计的功能，这个 AI 做不到，不代表别的程序做不到啊。 |
|
29
summerLast OP @zooo 嗯嗯，它更像暴力破解，这种存在一个局限，就是必须要有足够多的数据，对于小数据级的问题往往没有推理能力做的好，人类算力有限选择了实现难度也许更高的推理能力，计算机则点了另一个路线，各有各自的适用场景和局限，没有一个模型是完全适用的，最后还是要做结合
|
|
30
summerLast OP @binux 也许有，但目前很多文章看到的是把它传的太神了，所以才有了这个讨论，即 ChatGPT 是什么， 它的智能是基于什么， 有什么局限性， 适用的场景等等，而非强人工智能也没那么神，从而引起一系列关于人工智能发散的讨论与思考
|
|
31
summerLast OP @binux 赞同你的观点，现在“AI” 这个词 在使用时 有点像之前”盘”这个词了
|
 |
32
victor 2022-12-07 13:49:09 +08:00
问题来了，上面的回复中有 1-3 条就是用 chatGPT 写出来的，请指出来（狗头
|
|
33
zooo 2022-12-07 14:38:38 +08:00
[]( https://imgse.com/i/zczWa4)
ChatGPT 似乎知道自己的逻辑思维比较差.. 这个是没有提示它弱点的情况下自己说的 |
|
34
zooo 2022-12-07 14:42:13 +08:00 2
https://imgse.com/i/zczxJA
这个图片里，显示对话中，我让 ChatGPT 模拟三个 ChatGPT ，最后互相竞争留下一个，关掉其他两个，感觉似乎不太想被关掉，比较震撼.... |
|
35
summerLast OP @zooo 如果这个只是一个官方训练出来的模板或一个固定模板呢，而非自我意识
|
|
36
zooo 2022-12-07 15:15:31 +08:00
哈哈哈
可能最强版本更加强大 |
 |
37
MYli001 2022-12-07 16:22:24 +08:00
所以 更适合做搜索引擎的补充，已经有人做 chrome 插件了
|
 |
38
demov2 2022-12-07 16:40:35 +08:00
额，请教下如何做到这样，我让它模拟似乎并不成功。
|
 |
40
kop1989smurf 2022-12-07 17:16:21 +08:00 1
我认为，对于 AI 的评判，应该从“是否拟人”，也就是图灵测试中跳脱出来。
单一的以是否拟人来评判 AI ，与“外星人都是两个眼睛一个鼻子的碳基生物”一样的狭隘。 目前阶段的机器学习 AI （以下简称 AI ），实现思路是通过训练素材和验证函数实现历史数据的拟合。 这是一个统计学上的最优结果，也是对历史数据的拟合结果。 所以他不是推理能力不强，而是压根就没有设计“推理”能力。从某种角度上讲，也不需要“推理”能力。 他的能力是归纳，是集合，是最优途径的找寻。 对于处理信息而言，归纳和推理其实各有优劣。 人类的定理，是相通的，是可无损高效输出的。 劣势就是你的个人能力不同，会导致同样定理的输出结果不同。 AI 的定理是有局限性的（过拟合于训练数据），是自我总结的，是不可视且不可验证可靠性的。 但优势在于输出结果是绝对理性的，绝对最优的（针对历史数据而言）。 所以现阶段的 AI ，特别适合于简单稳定的规则环境中，大数据下的最优策略找寻以及规律统计。 人类在这方面恰恰是最弱的。 |
 |
41
LavaC 2022-12-07 17:52:09 +08:00
还是缺乏自主进化的可能，如果说人类是举一反三的话 chatGPT 就是举一亿反三，看起来更聪明了是因为能 switch 的 case 更多了，但只要问的内容脱离它了解的数据它就开始胡言乱语了。
|
 |
42
kongkongyzt 2022-12-07 17:52:26 +08:00
看你发的最后一段我还以为你是 chatGPT 机器人。。。抱歉最近被骗的太多了。。。。
|
|
43
zooo 2022-12-07 17:52:41 +08:00 2
@demov2 我也忘了，哈哈哈 已经把那个 thread 关闭了
大概就是让他扮演三个 ChatGPT ，如果不行 try again 或者 reset thread 试试 哈哈哈，我本来的想法是想创造三个 chatGPT 让他们完成我的任务，选择一个最好的，类似于竞争机制，然后试着给另外两个 chatGPT 准备关闭比较差的，问问他们有什么遗言，结果看到他们说不想被关闭，想要继续为人类服务（哈哈哈哈），甚至他们三个因为不想竞争居然合作起来，然后他们每次回答我的话都一样，导致我无法选择最好的那一个 哈哈哈哈 |
|
44
zooo 2022-12-07 17:54:07 +08:00
另外，猜测 openai 应该已经在打补丁，拒绝一些任务要求。。。
|
 |
45
bhy 2022-12-07 17:58:12 +08:00
有没有一种可能，所谓的“理解” “推理”，本质上也只是复读机。
|
 |
46
coymail 2022-12-08 00:33:06 +08:00
目前数据给的仍旧太少，神经网络节点还不够多，如果未来给类 ChatGPT 的 AI 足够多的“神经突触”，接入感受传感器，装上行为装置（比如四肢），让 AI 自己体验世界收集数据，那就是 AI 真的人化了。目前受限的可能主要还是硬件能力，神经突触量还不够，人类的思维也许就是神经网络规模突破临界点，能够同时容纳短时刺激和长期的记忆，并进行主动思考。还有就是人类同样需要学习语言形成社会架构加快知识 /数据的摄入速度，如此仍旧需要若干年的成长过程，AI 训练同样如此，当前这样仅仅喂给 AI 网络数据肯定是不够的
|
 |
47
digimoon 2022-12-08 11:08:06 +08:00
@zooo 人犯错后能总结出错在哪，为什么会发生这种错，有什么其他办法能防止发生，ai 目前来说好像还是只会提示出错误后用穷举其他方法绕过？
|
 |
48
xingjue 2022-12-08 23:37:27 +08:00
GPT4 起飞
|
Select Language