“我认为当今的多模态聊天机器人已经具备自我意识，人类会拥有兼具聪明和善良特性的AI，但训练它变得聪明和训练它变得善良是不同的问题。你可以同时让他变善良和聪明，两种技术将集合在同一个AI中，但会有不同的技术。国家之间可以分享让AI善良的技术，即使他们不愿意分享让AI变聪明的技术。”7月26日，2025世界人工智能大会（WAIC）首日，人工智能教父杰弗里·辛顿Geoffrey Hinton与上海人工智能实验室主任、首席科学家周伯文教授开展了一场浓缩高密度智慧的尖峰对话。
杰弗里·辛顿Geoffrey Hinton是全球瞩目的“深度学习三巨头”之一，也是2024年诺贝尔奖得主、2018年图灵奖得主、加拿大多伦多大学计算机科学名誉教授。7月26日上午，77岁的杰弗里·辛顿Geoffrey Hinton不远万里、带着腰伤开启了中国演讲“首秀”，结合其半个世纪的研究，讲解了他关于超级智能及数字永生的思考、对国家间合作共建AI安全的建议。
当天下午，杰弗里·辛顿Geoffrey Hinton步入会场时，全场起立鼓掌，现场观众高举手机记录难得的画面。其与周伯文教授围绕AI多模态大模型前沿、“主观体验”和“意识”、如何训练“善良”的超级智能、AI与科学发现，以及给年轻科学家的建议等话题，展开对谈。
(南都N视频记者赵唯佳/摄)
以下为对谈实录（内容有删减）
周伯文：我想请教一个问题，您本周早些时候提到多模态模型的主观体验。您认为即使是当今的多模态和语言模型也能发展出自己的主观体验吗？
Hinton：我认为它们是否具有意识或主观体验的问题，严格来说不是一个科学问题，而是取决于如何定义“主观体验”或“意识”。我们大多数人对这些概念的理解模型都是完全错误的。就像人们可以正确使用词语，却对词语如何运作持有完全错误的理论。
我举个日常词汇的例子来说明。对于“水平”和“垂直”这两个词，大多数人都认为自己理解其中的含义，但实际上他们的理解是错误的。我来证明一下：假设我手里有很多小铝棒，它们朝向各个方向。我把它们抛向空中，它们翻滚、碰撞，然后我突然让时间静止。
这时空中有很多铝棒。问题是：在垂直方向1度范围内的铝棒更多，还是水平方向1度范围内的铝棒更多？或者数量差不多？几乎所有人都说“差不多”，因为他们对词语运作方式的理解是错误的。实际上，水平方向1度范围内的铝棒数量是垂直方向的约114倍。这是因为“垂直”是非常特殊的方向，而“水平”则很普通。但人们不知道这一点。
这个例子看似与意识问题无关，但它说明了，我们对词语运作方式的理解可能是完全错误的。同样，几乎每个人都对“主观体验”这类术语有着强烈但完全错误的理论。这不是真正的科学问题，而是源于我们对心理状态的错误模型。我们用来这些来描述心理状态如何运作的术语，并且有了错误的模型，我认为你会做出错误的预测。所以，我的观点是，当今的多模态聊天机器人已经具有意识。
周伯文：这听起来让在场的许多研究者感到震惊，但我刚才从另一位加拿大科学家Richard Sutton那里听到，当我们现在已经耗尽人类数据时，模型可以从自己的体验中学习很多。您从另一个角度阐明了，Agent或多模态LLM，不仅从经验中学习，它们还可以发展出自己的主观体验。所以我认为Richard Sutton今天没有过多触及这种从主观体验中学习潜在风险。您认为到目前为止Agent可以学习主观体验，这是否会在未来带来潜在风险？
Hinton：确实，打个比方，目前大语言模型从我们提供给它们的文档中学习。它们学会了预测一个人会说的下一个词。但是，一旦你有像机器人这样在世界中的Agent，它们就可以从自己的经验中学习，而且我认为它们最终会学到比我们多得多。我认为它们会有经验，但经验不是事物，不像照片，经验是你和一个物体之间的关系。
周伯文：所以，几天前在IDAIS（“AI安全国际对话”）讨论前沿风险时，您提到了一种减少未来AI风险的可能解决方案，就是找到一种方法来训练AI的分离目标。例如，一个善良的AI、一个聪明的AI。
Hinton：我不是那个意思。我的意思是，你会有既聪明又善良的AI，但如何训练它变得聪明和如何训练它变得善良是不同的问题。训练善良和聪明的技术将是同一个AI，但会有不同的技术。所以，国家可以分享让它善良的技术，即使它们不愿意分享让它聪明的技术。
周伯文：我真的很喜欢那个想法，但我对能在这方面走多远有些疑问。你认为会有某种通用的AI训练来使AI变得善良吗？这些方法可以应用于任何AI模型、任何智能水平？
Hinton：那是我的希望。它可能不是真的。但这是一种可能性。我认为我们应该研究这种可能性。
周伯文：我想在这里做一个类比，来向您展示为什么我有这个疑问。以物理学为例，当物体以低得多的速度运动时，牛顿定律是有效的。但当这个物体运动到更高速度，接近光速时，牛顿定律就不再适用了，所以我们必须求助于爱因斯坦来获得更好的解决方案。顺便说一下，这有点好笑，因为我正在向一位诺贝尔物理学奖得主讲解大学物理入门课。
Hinton：但这是一个错误。
周伯文：这不是错误。你绝对值得获得诺贝尔奖。
Hinton：他们真的很想在人工智能领域颁发诺贝尔奖，但他们没有这个奖项。所以他们拿了一个物理学的奖颁给人工智能的科学家。
周伯文：但我想用这个类比来说明一个观点，我认为对于不同层次的智能系统，善意约束可能需要改变。
Hinton：是的，很有可能，随着系统变得更加智能，让它变得善良的技术也会发生变化。我们不知道。这就是我们现在需要对其进行大量研究的原因之一。
周伯文：除了AI问题，我们现场还有一半来自不同科学领域的顶尖学者——量子物理、生物学等。今天我们齐聚一堂，正是因为相信AI与科学的交叉融合将带来突破。您如何看待用AI推动科学进步，或者反过来用科学促进AI发展？
Hinton：我认为人工智能对科学的帮助是显而易见的。显然，迄今为止最令人印象深刻的例子是蛋白质折叠，Demis Hassabis和John Jumper等人通过合理使用人工智能并付出大量努力，证明了这一点。他们花了五年时间。他们都是非常聪明的人。在预测蛋白质如何折叠方面，我们（借助AI）可以做得更好。我认为这是一个早期的标志，表明在现在的许多领域，人工智能都将改善科学。我听说了上海AI实验室的例子，在预测台风登陆地点和天气预报方面，人工智能可以做得更好。
周伯文：在您的学术生涯中，不仅拓展了AI技术的疆界，更深刻影响了下一代科研工作者。我曾与许多比您更年轻的学者交流，他们都对您充满敬仰。在上海人工智能实验室，我们的研究人员平均年龄只有30岁——这清晰地表明，AI的未来属于年轻一代。对于AGI的下一代发展，您有何见解？或者，您是否愿意给这些年轻人一些加速成长的建议？
Hinton：我想最核心的建议是：若想做出真正原创的研究，就要寻找那些“所有人都可能做错”的领域。通常当你认为“众人皆错”时，经过探索最终会发现传统方法的合理性——但这恰恰说明：你永远不该轻易放弃新思路，除非自己真正理解它为何行不通。即便导师否定你的方法，也要保持质疑。
坚持你所相信的，直到你自己明白为何它是错的。只是偶尔，你会继续坚持你的信仰——而它最终被证明是正确的。重大突破正是由此而来，它们从不属于轻易放弃之人。你必须坚持己见，即使他人并不认同。
有一个逻辑支撑这一观点：你要么拥有好的直觉，要么拥有坏的直觉。若你的直觉是好的，那你显然应该坚持它；若你的直觉是坏的，你做什么其实都无关紧要——所以你依然应该坚持自己的直觉。
