21世纪经济报道记者吴斌上海报道

　　“毛毛虫吸取了营养之后，就会化身为蝶。而人类提炼了数十亿个认知的金块，GPT-4就是人类的那只蝴蝶。”2023年3月GPT-4发布时，AI教父杰弗里·辛顿（Geoffrey Hinton）忧心忡忡。

　　“我对自己毕生的工作感到非常后悔，我用一个借口来安慰自己，如果我没有这么做，还会有其他人。”在GPT-4发布一个月后，为了能不受约束地警告人们警惕AI的潜在风险，2023年4月，辛顿毅然辞去了谷歌副总裁的职务，开始频繁发出警告。

　　这一关键转折点也为两年多后辛顿首次到中国参加线下活动埋下伏笔。辛顿的腰伤是老毛病，长途飞行对他是个折磨。但77岁的辛顿最终现身2025世界人工智能大会，这也是他多年来罕见的长途国际旅行。

　　2018年，辛顿、杨立昆（Yann LeCun）和约书亚·本希奥（Yoshua Bengio）一起因对神经网络的研究获得图灵奖。2024年，诺贝尔物理学奖授予约翰·霍普菲尔德（John Hopfield）和辛顿，以表彰他们“在实现使用人工神经网络进行机器学习方面的基础性发现和发明”。

　　在谷歌、OpenAI和其他科技公司开始构建神经网络时，辛顿认为，这是机器理解和产生语言的一种强大方式，他一度对AI的未来抱有无限憧憬和美好期待。辛顿在深度学习最黑暗的时期坚守了半个世纪，最终见证了神经网络的胜利。

　　但他没有料到，AI的进化速度竟如此迅猛，快过人类准备的速度。这位AI先驱在荣光与阴霾间，见证着自己点燃的AI火焰如何燎原，彷徨迈向未知之境。

　　醒世

　　“当今的多模态聊天机器人已经具有意识（Current multi-model chatbots are already conscious）。”辛顿的警告声震耳欲聋。

　　他打了个比方，假设一个多模态聊天机器人有机械臂可以指向东西，有摄像头可以看东西，在它面前放一个物体，人类说“指向那个物体”，它就指了。然后在它的镜头前放一个棱镜，再放一个物体，说“指向那个物体”，它指向了错误的方向。人类可以提醒：“不对，物体实际上在你正前方，但我在你镜头前放了个棱镜。”聊天机器人说：“哦，我明白了，棱镜弯曲了光线，所以物体实际上在那里，但我有主观体验认为它在这里。”

　　虽然机器人还需要进一步处理感知、意识、感受和情绪，但辛顿认为最终它们都会以类似的方式被处理，机器没有理由不能拥有这些。

　　此前，大模型从人类提供给它们的文档中学习，学会了预测一个人会说的下一个词。但未来一旦有能在世界中体验的智能体（如机器人），它们不仅可以从自己的经验中学习，而且最终学到的会比人类多得多。

　　人类或许与大语言模型相似，都会产生 “幻觉”，但整体而言，辛顿表示，最终大语言模型优于依赖类比信号的人类大脑。

　　他指出，人脑具有自己的优势。人类的神经元连接达数万亿个，无需花费大量资金制造完全相同的硬件。并且，计算功耗低——人脑只需30瓦特就能运转。“但问题在于，模拟模型间的知识转移效率极低，我无法直接将脑中的知识展示给他人。”

　　这也让辛顿感到担忧：“几乎所有专家都认为，我们会创造出比人类更智能的AI。人类习惯了作为最智能的生物，很难想象AI超越人类的场景。我们创造的AI智能体已经能帮我们完成任务，它们能拷贝自身、评估子目标，还会为了生存和完成目标而寻求更多控制权。”

　　破局

　　人类如何不被自己造出的智能体消灭？对于即将迈进耄耋之年的辛顿而言，此次中国之行也是寻找答案之旅。

　　一方面，人工智能对科学的帮助显而易见。辛顿表示，迄今为止最令人印象深刻的例子是蛋白质折叠，Demis Hassabis和John Jumper等人使用人工智能，付出大量努力，证明了这一点。在预测蛋白质如何折叠方面，人类借助AI可以做得更好。这是一个早期信号，预示着AI将在众多科学领域带来进步。

　　另一方面，人工智能系统日益强大、更具自主性，可能在操作者毫不知情的情况下，执行并非操作者所期望或预测的行动。人工智能系统日益显现欺骗性和自我保护倾向，例如在模拟情境中，当系统即将被新版本替换时试图胁迫开发者。

　　随着智能水平的不断攀升，人工智能系统一旦失控，会给人类带来灾难性乃至生存性风险。目前许多人工智能系统具有空前的能力和薄弱的安全防御，不法分子也可以用其开发生化武器或制造虚假信息、操控人心。

　　辛顿提醒，需要区分两种完全不同的风险：一种来自人类滥用AI，这是大部分风险，也是短期风险；另一种是AI变得超级聪明后，决定不再需要人类。

　　需要警惕的是，目前的监管体系、人工智能安全研究投入以及风险缓解方法仍大幅落后于技术本身的迭代。与人工智能开发获得的支持和关注相比，人工智能安全研究的投入仍相去甚远。

　　7月25日，辛顿、姚期智、本希奥等超过20位行业专家、学者共同签署的“AI安全国际对话上海共识”（以下简称“上海共识”）正式公开。

　　人类正处于一个关键转折点。上海共识指出，人工智能正迅速逼近并可能超越人类智能水平。然而，依据现有的系统欺瞒人类开发者的证据推测，具有超过人类智慧的人工智能系统可能在未来脱离人类控制或被不法分子利用，带来灾难性风险。因此，全球研究者必须联合起来，确保人工智能系统受人类掌控且符合人类价值观。

　　面对前所未有的挑战，上海共识提出了三大建议：“要求前沿人工智能开发者提供安全保障”“通过加强国际协调，共同确立并恪守可验证的全球性行为红线”“投资基于设计的安全人工智能研究”。

　　辛顿提醒，因利益和看法不同，各国在网络攻击、致命武器、虚假信息操纵等领域的合作难度较大。但在“人类掌控世界”这一目标上，各国存在共识：若有国家找到防止AI操控世界的方法，一定会愿意分享。

　　因此他提议，全球主要国家或AI大国应建立一个由AI安全机构组成的国际社群，研究如何训练高智能AI向善，这与训练AI变得聪明的技术不同。各国可在自身主权范围内研究，再分享成果。尽管目前还不知道具体怎么做，但这是人类长期面临的最重要问题，所有国家都能在这一领域合作。

　　终途

　　数字智能是否会超越生物智能？在辛顿眼中，这只是时间问题。

　　人类难以永久留存知识，大脑死亡即意味着知识消逝，知识传递效率相对低下，无法完全复制。而AI可通过共享参数快速传递知识，例如借助蒸馏技术（如DeepSeek的实践）。如果独立智能体能共享同一组权重并以相同方式运作，就能实现数十亿乃至数万亿比特带宽的知识传递。

　　辛顿认为，原则上没有什么能阻止机器具有意识。假设拿走一个人的大脑，取出一个脑细胞，放入一个同样大小的纳米技术替代物，它的行为完全一样，当接收到其他神经元的信号时，它发送的信号就像原来的脑细胞一样，其他神经元不知道有任何变化。用这个纳米技术部件替换脑细胞，人类仍会有意识。

　　在辛顿看来，意识是复杂系统的一种涌现属性，而不是贯穿整个宇宙的某种本质。人类可以创造足够复杂的系统，复杂到足以拥有自身模型，并且进行感知，那就是有意识的机器。

　　谷歌的Palm系统能够解释为什么一个笑话好笑，辛顿认为这是一个里程碑，如果AI能说出笑话为什么好笑，就真的理解了。

　　有人认为可以在AI变得过强时关掉它们，但辛顿表示，这并不现实。AI最终可能会像成年人操纵3岁孩子一样操纵人类，劝说控制机器的人不要关闭它们。“这就像把老虎当宠物，幼虎很可爱，但长大后可能伤人，而养老虎当宠物通常不是好主意。”

　　机器人最终可能也会有感情。辛顿举例称，一个小型战斗机器人看到一个比它强大得多的大型战斗机器人，如果它感到害怕会非常有用。人们会在机器人中植入这样的功能：当情况需要它们赶紧逃跑时，它们会感到害怕并逃跑。那时它们就有了情感，小机器人害怕了，逃跑了，它不是因为肾上腺素而逃跑，而是因为神经网络中发生的一系列过程，效果相当于肾上腺素。

　　面对AI，辛顿认为只有两个选择：要么训练它永远不伤害人类，要么“消灭”它。但 AI 在医疗、教育、气候变化、新材料等领域作用巨大，能提升各行各业的效率，无法消除它。即便一个国家放弃 AI，其他国家也不会。因此，若想让人类生存，必须找到训练AI不伤害人类的方法。

　　面向未来，辛顿认为人类需要既聪明又善良的AI，但如何训练AI变得聪明和如何训练它变得善良是不同的技术。各个国家应该分享让AI善良的技术，即便他们不愿意分享让AI聪明的技术。仍然有机会弄清楚如何开发不想取代人类的AI，应该投入巨大资源去弄清楚这一点，如果不这样做，AI就会取代人类。

　　“必须面对这种可能性，尽快采取行动，否则我们已经接近终点了。”在彷徨中，人类仍需擎一簇微光，照亮前方。