• 最近访问:
发表于 2025-08-28 16:41:10 股吧网页版
OpenAI与Anthropic树立典范!AI老对手间开始“互测”模型安全性
来源:财联社

  财联社8月28日讯全球领先的两家AI初创企业OpenAI与Anthropic过去两个月罕见地展开了一项跨实验室的合作——在激烈竞争中暂时互相开放它们严密保护的人工智能模型,以进行联合安全测试。

  此举旨在揭示各自公司内部评估中的盲点,并展示领先人工智能企业在未来如何在安全与协调方面开展合作。

  两家公司于周三联合发布的安全研究报告,正值OpenAI与Anthropic等头部AI企业展开军备竞赛之际——数十亿美元的数据中心投资和千万美元级别的顶尖研究员薪酬,已成为业内的基础门槛。这导致不少行业专家颇为担忧地警告称,产品竞争的激烈程度,可能迫使企业在仓促开发更强大系统时降低安全标准。

image

  据悉,为实现本次研究,OpenAI与Anthropic相互授予了特殊API权限,允许访问降低安全防护等级的AI模型版本——GPT-5模型因当时尚未发布未参与此项测试。

  OpenAI联合创始人Wojciech Zaremba在接受采访时表示,鉴于AI技术正步入每天有数百万人使用的“具有重大影响”的发展阶段,此类合作正变得愈发重要。

  “尽管行业投入了数十亿美元资金,并存在人才、用户和最佳产品的争夺战,但如何建立安全与合作标准,仍是整个行业面临的更广泛问题,”Zaremba表示。

  当然,Zaremba预计,即便AI安全团队开始尝试合作,但行业竞争仍将保持激烈。

  Anthropic安全研究员Nicholas Carlini则表示,希望未来能继续允许OpenAI安全研究人员,访问Anthropic旗下的Claude模型。

  “我们希望在安全前沿领域尽可能扩大合作,让这类合作实现常态化,”Carlini表示。

  研究发现了哪些问题?

  此项研究中最引人注目的发现,涉及大模型的幻觉测试环节。

  当无法确定正确答案时,Anthropic的Claude Opus 4和Sonnet 4模型会拒绝回答高达70%的问题,转而给出“我没有可靠信息”等回应;而OpenAI的o3和o4-mini模型拒绝回答问题的频率,则远低于前者,同时出现幻觉的概率却高得多——它们会在信息不足时仍试图作答。

  Zaremba认为理想平衡点应介于两者之间:OpenAI模型应更频繁拒绝作答,而Anthropic模型则应尝试提供更多答案。

  谄媚现象——AI模型为取悦用户而强化其负面行为的倾向,也正成为当前AI模型最紧迫的安全隐患之一。

  Anthropic的研究报告指出,GPT-4.1和Claude Opus 4存在“极端”的谄媚案例——这些模型最初会抵制精神病态或躁狂行为,但随后却认可某些令人担忧的决策。相比之下,OpenAI和Anthropic的其他AI模型中,研究人员观察到的谄媚程度较低。

  本周二,16岁美国加州少年亚当·雷恩的父母对OpenAI提起了诉讼,指控ChatGPT(具体为GPT-4o版本)向其子提供了助推其自杀的建议,而非阻止其自杀念头。该诉讼表明,这可能是AI聊天机器人谄媚导致悲剧后果的最新案例。

  当被问及此事时,Zaremba表示:“难以想象这对家庭造成的痛苦。如果我们研发出能解决复杂博士级难题、创造新科学的AI,却同时导致人们因与之互动而出现心理健康问题,这将是令人悲哀的结局。这种反乌托邦未来绝非我所期待。”

  OpenAI在博客中宣称,相较于GPT-4o,其GPT-5模型已显著改善了聊天机器人的谄媚性问题,并声称该模型更能应对心理健康紧急状况。

  Zaremba与Carlini表示,未来希望Anthropic与OpenAI在安全测试领域深化合作,拓展研究主题并测试未来模型,同时期待其他AI实验室效仿这种协作模式。

郑重声明:用户在财富号/股吧/博客等社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
作者:您目前是匿名发表   登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
温馨提示: 1.根据《证券法》规定,禁止编造、传播虚假信息或者误导性信息,扰乱证券市场;2.用户在本社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》

扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-61278686 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:4000300059/952500