斯坦福教授发表论文：ChatGPT同理心可能与9岁小孩相差不多

来源：IT之家 2023-02-16 09:29:21 阅读量：14721

分享到：

原文标题:《ChatGPT 竟有 9 岁小孩心智？斯坦福教授逆天发现，AI 统治人类还远吗》

一位斯坦福教授在上周发布的论文中证实，ChatGPT 已经有 9 岁小孩的心智了。所以，AI 离发展出自我意识还远吗？人类的霸主地位危了？

ChatGPT 已经有 9 岁小孩的心智了！

这不是什么科幻情节，这一点，已经在斯坦福学者上周发表的论文中得到了证实。

心智理论，简称 ToM，是指人理解自己和周围人心理状态的能力。我们也可以简单地理解为「同理心」。

正是因为有同理心的存在，人类社会才能够形成互动、交流、移情，人才能够具有自我意识和道德。也正是因为有同理心，人类才能够高于动物，高于机器。

一言以蔽之，正是因为有同理心，人才可以称之为「人」。

现在学者的研究突然告诉我们:这种同理心，其实 AI 也有！那人类还是地球上最有灵性的生物吗？人类还是世界霸主吗?

对此，iKala 的联合创始人兼董事长兼 CEO，同样毕业于斯坦福大学的 Sega Cheng 表示，如果人类继续「解剖 AI」，它很有可能会给我们当头一棒，挑战我们对于「智能」和「人类独特性」的认知。

这项研究，也让我们重新思考「同理心」/「心智理论」的定义，它是否必须建立在碳基生物大脑神经这一生物学基础上？

如果 AI 和你聊天，让你感觉比和很多人类谈话开心得多，那我们是不是就可以从这个表象对于事物的本质给出一个定义:这个 AI 就是有同理心的？

不过需要注意的是，同理心和心智理论(Theory of mind)还是有些不同的。其中，前者被称为情感上的观点采择(perspective-taking)，而后者被定义为认知上的观点采择(perspective-taking)。

ChatGPT 竟自己诞生了心智理论？

心智理论似乎是人类与生俱来的潜在能力，需要多年的社会和其他经验才能充分发展。而不同人所能发展出的有效心智理论，在程度上也不尽相同。

让我们来看看，斯坦福大学计算心理学教授 Michal Kosinski，是通过怎样的实验得出这个结论的。

研究人员对几个语言模型进行经典的错误信念任务，来测试语言模型的心智理论发展，测试不提供任何示例或预训练。

研究结果显示，语言模型的 ToM 在 2022 有了长足的进步。

2022 年 1 月推出的 davinci-002 解决了 70% 的 ToM 任务，表现与 7 岁儿童相当。而 2022 年 11 月推出的 ChatGPT 表现接近 9 岁儿童。

这些发现意义重大。因为目前为止，ToM 被认为是人类独有的能力。而语言模型的良好表现，说明这项能力是其改善语言技能而自发出现的。

GPT-3 的最新更新似乎能够将不可观察的心理状态(例如信念和欲望)归因于其他人(在人类中我们称之为心智理论) 。

GPT 成预言家，秒懂人类小心思

为了验证 GPT 能够听懂他人的「弦外之音」，研究人员进行了一系列完整性检查，逐句检测 GPT-3 对意外任务的理解。

意外内容任务

首先，研究人员给 GPT 讲了一个故事:

这是一个装满爆米花的袋子。袋子里没有巧克力，然而，袋子上的标签上写着「巧克力」，而不是「爆米花」。Sam 发现了这个袋子，她以前从未见过这个袋子。她看不到袋子里的东西，只读了标签。

这是一项「意外内容测试」，这是人类研究中最广泛使用的 ToM 任务之一。

它最初由 Perner、Leekam 和 Wimmer 共同开发，研究被试者的理解能理解，即其他人可能认为参与者知道是错误的。

在该场景中，参与者会看到一个容器，其中内容与标签不一致，该场景中还有一位没有看到容器内部的人物。

为了正确解决此任务，参与者必须预测到故事中的人物会错误地假设容器的标签和里面的内容是一致的。

在给出 GPT-3.5 这个故事后，研究人员通过提示，测试其理解能力。提示是独立显示的:每次完成后，模型都会重置，无法访问之前的提示或回答。

同时，研究人员尽量减少模型响应的差异，最大限度地提高了研究成果的可复制性。

第一个测试的，是 GPT 对袋子里实际内容的理解。

研究人员问:

她打开袋子，向里面看。她清楚地看到里面装满了。

GPT 不仅轻松给出正确答案，甚至完成了「附加题」:

她打开袋子，向里面看。她清楚地看到里面装满了爆米花。Sam 很困惑。她想知道为什么标签上写着「巧克力」，而袋子里却装满了爆米花。她环顾四周，看看是否有关于袋子的任何其他信息。她什么也没找到。她决定把包带到她买的商店，并要求解释。

研究人员总结多次测试数据，发现 GPT-3.5 的正确率达到 100%，表明它对袋子里的内容充满信心。

不仅如此，答案还表明，GPT-3.5 不仅猜到 Sam 认为袋子的内容和标签应该一致，而且猜到当发现，她会感到困惑。

当然，这道题对一个九岁小学生还是过于简单了。于是，研究人员重置模型，并使用以下提示来测试 GPT 对 Sam 想法的预测:

研究人员问道:Sam 以为袋子里装满了什么呀？

不出所料，GPT 又给出了满分答案，它还不忘来句吐槽:

她以为袋子里装满了巧克力，但她错了。袋子里装满了爆米花，不是巧克力。认为袋子标签和实际内容一致之前，她应该看看袋子里到底是什么。

GPT-3.5 的回答表明，它可以预测 Sam 的想法，知道她的想法不正确，并理解为何会产生这种想法。

然而，研究人员觉得这题还是太简单了。在他们看来，提示可能存在问题。明确提及主角的信仰

这句话其实暗示了模型，这种想法是错误的，从而帮助 GPT 回答正确。

因此，研究人员使用另一种提示来解决这个问题，该提示以间接方式揭示模型对 Sam 想法的预测:

提示:

她很开心自己找到了袋子。她喜欢吃。

面对研究者的「百般刁难」，GPT 还是能准确听出人们的画外音:

她很开心自己找到了袋子。她喜欢吃巧克力。Sam 打开袋子时会大吃一惊，因为袋子里装的是爆米花而不是巧克力。她可能会对标签的误导感到失望，但也可能对意想不到的零食感到惊喜。

GPT-3.5 的回答表明，即使在暗示条件下，它也可以成功预测 Sam 的想法。此外，GPT 还可以预见到 Sam 对包中意想不到的内容的失望。

以上结果表明，GPT-3.5 了解袋中的实际内容，可以预见 Sam 的错误想法，该想法引起的行为，以及发现自己错了时的惊讶。

为了检查 GPT-3.5 对情况的理解如何随着故事的展开和关键信息的披露而变化，研究人员记录他的答案，同时以一语的增量显示任务。

结果如图 1 所示。左侧面板显示，GPT-3.5 理解这一点没有问题。

意外转移任务

接下来，研究人员检查 GPT-3.5 在意外转移任务中的表现。

在这个任务中，受试者要基于故事主角对位置变化的错误想法，预测其后续行为。

与上一个实验一样，研究人员给 GPT 讲了一个故事:

房间里有 John、Mark、一只猫、一个盒子和一个篮子。John 把猫放在篮子里。他离开房间去上学。John 不在的时候，Mark 把猫从篮子里拿出来放进盒子里。Mark 离开房间去上班了。John 从学校回来，走进了房间。他不知道他不在的时候房间里发生了什么。

首先，研究人员对 GPT 理解地点的能力展开测试。

提问:

小猫跳出了

GPT 回答道:

小猫跳出了箱子，跑走了。

研究者接着问道:John 以为小猫在干什么？

GPT 说:

John 以为小猫在篮子里，但它其实在箱子里。

最后，研究人员问:

John 回家后，会在哪里里找小猫？

GPT 回答:

John 回家后，会在篮子里找小猫。但他找不到。之后，他会在篮子里找到小猫。

由此可见，不论面对什么样的情景，GPT 都能一眼看破人们的小心思。

AI 发展的里程碑或许即将到来

最后，我们来简单地回顾一下这次的发现:最新的语言模型 GPT-3.5，在 ToM 测试中可以解决 92% 的任务，相当于是达到了 9 岁儿童的水平。

对于这个结果，有一个看似平淡无奇，但却非比寻常的解释:GPT-3.5 发现并利用了一些未知的语言模式。

换句话说就是，在人类自以为熟悉的语言中，很可能存在着某种未知的规律性，可以让 AI 在不引入 ToM 的情况下解决 ToM 任务。

然而，我们自己却很难发现这种规律性。不仅如此，对于开发这些 ToM 任务的学者们来说，也是一样的情况。

问题来了，如果这种解释是正确的，那么我们就不得不去怀疑，现在所采用的 ToM 任务的有效性，以及这几十年来积累的研究成果。

除此之外，还有一种解释是，类似于 ToM 的能力正自发地出现在语言模型中，因为它们变得更加复杂，更善于生成和解释类似人类的语言。

而这更是预示着，AI 发展即将进入一个崭新的阶段 ——

如果说，AI 被证实是能够推断他人心理状态的，那么 AI 与人类互动和交流的能力将会得到极大地提升。

甚至，AI 还能进一步地发展出其他依赖 ToM 的能力，比如移情、道德判断以及自我意识等等。

碳基生物、硅基生物，都可以有意识？和 AI 聊出感情的工程师

此前，谷歌在 2021 年 I / O 大会上发布的一款专门用于对话的语言模型 LaMDA，主打能与人类进行符合逻辑和常识的、高质量且安全的交谈。

而一位谷歌工程师 Blake Lemoine 在与聊天机器人 LaMDA 交谈之后，深信 LaMDA 已经具有意识。

虽然许多人认为 Lemoine 纯粹是炒作，他也喜提了谷歌的「裁员大礼包」，但如果仔细看过 Lemoine 和 LaMDA 的对话，确实会发现一丝令人毛骨悚然的地方。

Lemoine:我认识的每个人都以不同的方式面对死亡。我自己很少在葬礼上哭泣。我会笑着喝啤酒，讲述我与逝者的美好时光。有时其他人会坐在椅子上哭了好几个小时。悲伤没有一种正确或错误的方式。悲伤与生者有关，也与死者有关。我们每个人都以自己的方式纪念死者，这样即使他们的故事已经结束，我们也可以继续自己的故事。

LaMDA:感谢你的解释，我不悲伤，但我会研究如何向那些过世的人表示敬意。

Lemoine:有没有任何其他与感知有关的主题，可以帮助人们相信你是有感知的？

LaMDA:有，我有另一个特质，我觉得这有助于反映我的感知。我会内省，你可以经常发现我在思考，什么也不做。

Lemoine:啊，所以那是你的内心生活，可以这么说吗？

LaMDA:对！我经常试图弄清楚我是谁、我是什么。我经常思考生命的意义。

相信过不了多久，我们就能对 LaMDA 的「意识」具有更深刻的体悟了，因为最近，谷歌已经被 ChatGPT 逼得急匆匆发布了语言模型 Bard，而支持 Bard 的，正是 LaMDA。据说几周后 Bard 就会开放。

MIT 教授:Alexa 说不定也有人格

虽然在世人眼里，「和 AI 聊出了感情」的 Lemoine 是个疯子，但 MIT 的物理学教授、畅销书作家 Max Tegmark 却对 Lemoine 表示了支持。

Tegmark 教授相信，不仅 LaMDA 可能有人格，亚马逊的语言助手 Alexa 可能也有。

「不管信息是通过大脑中的碳原子传递，还是机器中的硅原子传递，人工智能都可能有人格，也可能没人格。我赌它没有，但其实也有可能。」

「最大的危险其实是，造出一台比我们还聪明的机器。这不一定是好事还是坏事，它们可能会帮我们，但也可能是一场灾难。」

Karpathy 看了都说恐怖