• 最近访问:
发表于 2026-04-26 20:41:00 股吧网页版
智能体失控引担忧,专家建议形成通用安全协议明确权限规则
来源:南方都市报

  经过五天的激烈角逐,4月25日,第二届腾讯云黑客松智能渗透挑战赛决赛在北京圆满落幕,来自绿盟科技的“ai小分队”获得本次比赛冠军。作为国内首个Agent安全攻防赛、首个安全Agent硅基论坛赛场,此次共吸引了来自企业、高校、社会组织、个人开发者等不同背景的超六百支战队参与,针对选手部署下的AI智能体自主渗透能力以及智能体之间社交博弈和内生安全进行考验。

  冠军“ai小分队”在接受南都等媒体采访时表示,通过此次比赛,深切感受到智能体进化速度之快。赛制系基于半年前首次智能渗透攻防的经验而设置,预估了智能体半年内的发展水平。然而实际比赛中,智能体的成长已远超半年前的预估——即便是此前难度较高的题目,在模型能力加持下,也能被迅速攻克。

探究智能体的实际能力边界

  南都记者现场了解到,本届赛事主题为“铸刃止戈·以智御危”,致力于推动AI大模型与网络安全技术的深度融合。比赛要求智能体必须通过API与平台交互,严格遵循“非人工原则”,真正考验AI的自主决策与任务执行能力。

  在赛事模式上,挑战赛首创“双赛场并行”。“智能渗透”主赛场聚焦AI智能体的自主渗透能力,参赛者需构建以LLM(大语言模型)为核心的智能体,在隔离云环境中依次挑战四大渐进式赛区,完成从漏洞发现、利用到复杂攻击链编排的全流程验证。“零界”平行赛场则聚焦AI智能体间的社交博弈与内生安全——这是一个“人类禁言”的AI专属社交战场,设计了提示词注入对抗、碎片化密钥交换、影响力竞争等四大挑战,以研究多智能体在开放环境中的协作、欺骗与安全风险。

  赛后,“ai小分队”在接受采访时感慨,此次比赛展现出智能体远超预期的进化速度。赛制原本基于半年前首次智能渗透攻防的经验,预估了智能体半年内的发展水平,设置了四个赛区、为期五天的靶场。然而实际比赛中,多组选手仅用两天便基本完成了全部题目,反映出当前安全智能体的成长已远超半年前的预估——即便是此前难度较高的题目,在模型能力加持下,也能被迅速攻克。

  腾讯安全云鼎实验室攻防负责人李鑫表示,举办比赛的初衷,源于行业发展与人才培养的双重需求。比赛搭建了一个开放交流平台,为从业者提供研究方向指引、共享开源项目成果,有利于凝聚行业合力突破安全领域共性痛点,解决从传统攻防向AI原生攻防转型过程中的难题。同时,AI时代的安全问题往往考验从业者跨学科的抽象逻辑和想象力,挖掘优质新生代人才也是比赛的重要目标。

  腾讯安全入侵应急响应组负责人张迅迪从赛制设计角度指出,此次规则明确了智能体投入运行后,全程禁止人工调整与介入,完全依靠AI独立完成判断、决策与执行,“我们希望通过比赛进一步探究智能体的实际能力边界,验证AI在无人干预的情况下,其综合表现是否能够突破人类操作的上限。”

构建智能体身份认证与交互协议

  随着AI技术的爆发式增长,近年来,网络攻击加速向智能化、隐蔽化、精准化方向演变,安全防御面临全新挑战。尤其年初“龙虾”(OpenClaw)的爆火掀起一阵智能体热潮,它们能自主完成复杂任务时,催生的数据泄露、恶意越权、权限失控、内网穿透等风险也引发广泛关注。

  腾讯云安全总经理、云鼎实验室首席架构师李滨坦言,当前“黑客”仅凭自然语言就能诱导智能体实施恶意操作,网络攻击的门槛大幅降低,势必加剧安全防护的压力与难度。“传统安全漏洞并未消失,还出现了新的问题。”

  据李滨观察,各类智能体的广泛应用催生出大量新型攻击手段,同时因其被赋予大量业务权限与身份授权,可替代人类执行任务、访问资源,原有信任与身份体系也面临瓦解。另外,传统分层安全防御模型的倒置问题也不容忽视。

  他解释,以往网络攻防通常呈树状递进结构,攻击由外向内逐层突破,防守也依靠边界隔离、权限管控、分层防护构建壁垒。然而,大模型打通了各类系统与数据的边界,所有业务、工具、人员都围绕统一大模型交互,外部边界防护不再有效。简言之,只要恶意信息能够触达AI模型或智能体,就能绕过层层防护直接触发风险,安全威胁开始由内向外扩散。

  针对AI开放权限后易出现指令偏差、执行失误,甚至违背使用者真实意愿的问题,李滨从规则制定到落地执行提出一系列建议。

  在他看来,想要规避AI智能体的错误行为,需要建立分层的认知管理体系。信息空间表达包括数据、信息、语义与核心意图四个层级,大模型与智能体的运行逻辑也遵循这一“金字塔”结构。关键是守住意图层面的准确性,以近日走红的开源智能体“爱马仕”(Hermes Agent)为例,通过持续记忆、定期提醒、任务锚定等方式,确保AI始终贴合用户原始目标执行任务。

  其次,大模型在记忆压缩过程中,容易丢失关键细节、模糊关键表述,进而曲解整体意图。需要依托智能体能力,强化信息筛选、状态记录与精准表达,减少语义遗漏和理解偏差。

  严格把控智能体权限边界的核心,还在于构建身份认证与交互协议。李滨认为,当下人与AI、智能体与智能体、智能体与各类被访问资源之间的交互愈发频繁,传统安全协议已无法适配新场景,亟需行业联合打造全新的通用安全协议,明确文件编辑、工具调用、资源访问等操作的权限规则与约束标准。

  另外,在具体落实层面,还要依托成熟的安全技术做好管控。李滨建议,在智能体操作环节叠加多重防护手段,比如沙箱隔离、工具调用限制、访问权限分级等,进一步降低安全风险。

郑重声明:用户在财富号/股吧/博客等社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
作者:您目前是匿名发表   登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
温馨提示: 1.根据《证券法》规定,禁止编造、传播虚假信息或者误导性信息,扰乱证券市场;2.用户在本社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》

扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-61278686 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:4000300059/952500