• 最近访问:
发表于 2026-07-13 23:32:31 股吧网页版
为大模型与智能体套上“紧箍咒”,蚂蚁集团连发两款开源安全模型
来源:广州日报 作者:文静

  7月13日,蚂蚁AI安全实验室宣布开源智能体安全护栏SingGuard-NSFA,并同步披露多模态安全护栏SingGuard的详细信息。两款模型分别面向“自主执行的智能体”和“多模态交互的大模型”两大前沿场景,标志着蚂蚁在AI安全领域进一步完善系统化布局。

  随着AI从内容生成迈向自主执行,安全问题正从模型输出扩展到行为控制、权限管理和系统治理。智能体开始自主调用工具、运行代码、规划任务,模型也逐渐具备理解图像、文本等多模态信息的能力,AI系统的能力边界不断拓展,也带来了新的安全挑战。

  过去一年,提示词注入、权限滥用、恶意代码执行、数据泄露等安全事件持续出现。从Amazon Q提示词投毒、Microsoft Copilot数据泄露,到开源智能体OpenClaw暴露出的提示词注入风险,都表明智能体自主性越强,安全风险的放大效应越明显。2025年12月,OWASP发布《智能体应用安全十大风险》,系统梳理智能体特有安全威胁;2026年5月,国家网信办、国家发展改革委、工业和信息化部联合印发《智能体规范应用与创新发展实施意见》,首次从国家层面对智能体安全治理提出明确要求。

  在这一背景下,蚂蚁AI安全实验室此次开源两款安全模型,旨在为大模型和智能体提供更加完善的底层安全能力。

  SingGuard-NSFA:为智能体操作装上“实时刹车”

  随着智能体从“回答问题”逐步走向“自主办事”,AI开始调用工具、执行代码、编排多步任务,安全风险已经不仅停留在内容层面,而更多体现在行为层面。提示词注入、敏感信息窃取、恶意代码执行、资源耗尽、权限滥用等问题,传统内容审核体系难以有效覆盖。

  针对这一痛点,蚂蚁AI安全实验室推出SingGuard-NSFA,在智能体执行动作之前完成实时安全检测,从请求拦截和响应兜底两端构建行为安全防护体系。

  据悉,SingGuard-NSFA基于CIA(保密性、完整性、可用性)原则,结合OWASP等国际安全指南,将智能体风险细分为7大类、28个中类和185个具体场景,并建立覆盖133种语言、近10万条样本的智能体安全评测体系。

  在技术实现上,SingGuard-NSFA兼顾了安全审计和实时防护两种需求。它提供两种工作模式:一种模式可以逐条生成详细的风险分析报告,方便事后审查和合规记录;另一种模式则能在50毫秒左右完成单次风险判定,适合线上高并发场景下的实时拦截。并提供0.8B、2B、4B、9B四种模型规模,满足不同部署需求。

  多项公开评测显示,SingGuard-NSFA在智能体输入、输出安全检测中均取得领先表现。其中,0.8B模型即可达到8B模型性能水平,新增风险类别时仅需训练轻量模块,无需重新训练整个模型,可进一步提升现有安全护栏的检测能力。

  SingGuard:多模态内容安全的“全能守门员”

  与智能体操作安全并行的另一条防线,是多模态交互场景下的内容安全。今年6月,Anthropic发布旗舰模型Claude Fable 5,数日内即被研究者用Unicode字符和西里尔字母替换敏感词绕过了安全护栏——模型能还原原意,分类器却视其为陌生拼写,系统提示词因此被套出。这表明,模型越能读懂变形文字、图片和跨模态信息,传统关键词识别式的护栏就越力不从心。

  SingGuard正是为此设计的多模态安全护栏。它面向文本、图片及跨模态内容建立统一安全判断框架,可识别攻击者将恶意动作隐藏在文字、图片等不同模态中的复杂攻击。同时支持运行时动态加载自然语言安全规则,无需重新训练模型即可完成规则更新,更适用于规则持续演进、业务流量较大的生产环境。

  在推理机制上,SingGuard采用“快慢结合”模式:先快速完成初步判断,只有面对复杂场景时才启动进一步推理,在保证效率的同时提升检测准确率。

  在覆盖文本查询、文本回复、图像、多模态和多语言的6大类评测中,SingGuard在35个数据集及评测切分上的平均F1均为最高。其对比对象涵盖Llama Guard 3、谷歌ShieldGemma、GPT-5.1、Gemini3-Pro等业内最具代表性的主流护栏,SingGuard均实现全面领先。

  中国信通院人工智能研究所安全治理部副主任呼娜英表示,随着大模型从内容生成迈向自主执行,AI安全正从内容审核延伸至行为管控和系统治理,成为智能体规模化应用的重要基础能力。蚂蚁AI安全实验室已针对开源智能体框架OpenClaw开展专项安全审计,并于今年4月联合清华大学开源智能体安全防御插件ClawAegis,为自主智能体提供覆盖全生命周期的安全防护能力。

郑重声明:用户在财富号/股吧/博客等社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
作者:您目前是匿名发表   登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
温馨提示: 1.根据《证券法》规定,禁止编造、传播虚假信息或者误导性信息,扰乱证券市场;2.用户在本社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》

扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-61278686 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:4000300059/952500