美国加州大学圣迭戈分校科学家开展了一项实证研究，首次证明现代人工智能（AI）系统通过了图灵测试。相关论文发表于新一期《美国国家科学院院刊》。
这是首个严格采用图灵测试来评估大语言模型的研究。图灵测试由英国数学家、“计算机科学之父”阿兰·图灵于1950年提出，是检验机器能否逼真模仿人类对话、使人们无法将其与真人区分开来的重要科学基准。
为获得更具代表性的结果，团队研究了两组人群：一组是美国加州大学圣迭戈分校本科生；另一组是通过Prolific平台招募的更广泛的在线样本。整个实验共有近500人参与。
在随机对照试验中，参与者同时与另外两方聊天，一方是人类，另一方是大语言模型。实验涉及4种模型，包括目前最先进的GPT-4.5和LLaMa-3.1-405B，以及较旧的基线模型GPT-4o和ELIZA，后者是20世纪60年代基于规则的经典聊天机器人。
结果显示，GPT-4.5在73%的情况下被判定为人类，这意味着参与者将其选为“人类”的频率，明显高于他们选择真实人类参与者的频率。在同样提示下，LLaMa-3.1-405B在56%的情况下被判定为“人类”，在统计学上与其所比较的真实人类没有显著区别。基线系统的表现则逊色得多：ELIZA和GPT-4o总体上分别只有23%和21%的情况被选为“人类”。
若给予恰当的提示，先进大语言模型能表现出与人类无异的语气、直率、幽默，乃至易犯的错误。科学家此前已知道，大语言模型几乎可以轻松生成与任何主题相关的知识，但这项测试表明，它还能令人信服地展现社会行为特征，这对人们如何看待AI具有重大意义。
团队表示，每个大语言模型都有“性格”，会采用特定的人物设定和沟通风格。大语言模型并非依靠展示知识的能力取胜，而是因其像人类一样会犯错而胜出。这些特征，与他们认为图灵所设想的那种数学与逻辑解题能力并不相同。
不过，团队也发现，若无明确指示，这些模型被误认为人类的概率便会大打折扣：GPT-4.5的获选率降至36%，LLaMa-3.1降至38%，基线系统ELIZA和GPT-4o被选为人类的概率则更低。
