• 最近访问:
发表于 2025-10-22 01:24:21 股吧网页版
两链对接大家谈|邬江兴院士:以“内生安全”范式重构AI安全可信底层逻辑
来源:经济参考报

  近段时间以来,人工智能尤其是智驾领域的安全事故时有发生,引发各界高度关注。作为新一轮科技革命和产业变革的核心驱动力,当前AI正重塑生产生活方式,为高质量发展注入强劲动能。但如何平衡好“发展”与“安全”的边界?如何让人工智能应用系统既“聪明”又“可靠”,在激发AI创造力的同时,又能控制好“不确定性的安全边界”?日前,《经济参考报》记者就此专访了中国工程院院士邬江兴。

  邬江兴院士表示:“中国原创的内生安全理论范式以‘相对正确公理和必要多样性定律’为基础,能够将AI的不确定性风险,转化为概率可控的问题,以内生安全范式重构AI安全可信底层逻辑,具有突破性意义。”

  以下为访谈实录。

  记者:国家“人工智能+”行动计划出台后,AI与产业深度融合成了焦点。您怎么看“人工智能+”的发展趋势?这一过程中最该把握的核心原则是什么?

  邬院士:“人工智能+”绝非简单的技术拼接,而是一场深刻的产业变革,更是国家推动数字经济与实体经济深度融合的关键抓手。

  但必须清醒认识到,“人工智能+”延伸到哪里,安全边界就必须覆盖到哪里。当AI进入汽车、工业控制、能源调度、医疗金融等关键领域,安全便不再是“App闪退”这类功能层面的问题,而是直接关乎生命安全、国家安全的重大议题。因此,“人工智能+”发展的核心问题,在于解决“AI既要强大,又要向善可信”的难题,实现“性能”与“安全”的同步提升。

  同时,安全绝非“人工智能+”的“绊脚石”,而是与其并肩前行的“同行者”。这种协同关系,好比给大模型戴上“紧箍咒”——既不束缚创新活力,又能通过技术手段把控风险,让安全具备可设计、可验证、可调整的特性,最终实现安全能力与模型性能如双螺旋DNA般共生进化、同步升级。

  记者:具体到AI和产业深度融合的场景,比如,最近一段时间以来,新能源汽车智驾事故时有发生,引发各方关注。您能否以新能源汽车智驾发展为例,描述一下我们面临的根本性安全挑战是什么,以及“内生安全范式”将如何发挥效用?

  邬院士:根本性安全挑战是“AI安全边界线不确定”,智驾依赖的端到端大模型是概率性输出系统,用传统的确定性手段无法完备验证基于概率输出的模型推理,这是个显而易见的逻辑悖论。更为矛盾的是,一方面AI要靠“自律模式”不断优化提升安全性,但是94年前提出的哥德尔不完备定理明确指出,“自律模式”无法从根本上解决问题;另一方面,“他律模式”受测试集的完备性限制,无法穷尽所有潜在的安全问题。因此,AI屡屡触及“生命安全”红线事件。

  尽管理论上没有绝对安全,但不等于在给定的约束条件下,不能将“有风险的AI老虎”关进安全的笼子内。而且,关起来后的效果要用数据说话,要让人民群众看得见、测得出、可验证。

  中国原创的内生安全理论范式以“相对正确公理和必要多样性定律”为基础,提出“不依赖先验知识的构造决定安全”的理论和方法,能将“AI老虎”可靠地关进“内生安全笼子内”,通过多智能体共识机制替代单一模型决策,管控端到端智驾“黑箱风险”,将“未知威胁”转化为“可控风险”,保障智驾系统“出厂即安全”。

  记者:“AI安全”包括诸多核心层面,例如模型自身安全、技术应用安全、社会伦理安全、数据与隐私安全等,是一个复杂的系统安全问题,面对这么复杂的系统安全问题,您提出的“内生安全”理论能为AI安全破解困局吗?其核心逻辑是什么?

  邬院士:我国原创的内生安全理论的核心,是依托“相对正确公理”与“必要多样性原理”,打破传统“外部打补丁式防护”的局限,提出“构造决定安全”的全新路径。简单来说,就是将传统方式难以应对的“完全未知的威胁”,转化为“知道有风险但能控制”的问题,最终实现对不确定风险的可设计、可验证、可防御。这套理论迭代十余年,在信息安全、网络安全、数据安全领域,经过充分理论验证与实践检验,被国际公认为网络安全中国学派。

  具体到“人工智能+”领域,内生安全主要解决两大痛点:一是在难以解释的智能系统中,建立可信的决策机制;二是让新型安全风险能够被量化评估与检测。其原理类似人类的“生成—判别”共识机制,通过构建由多个不同模型组成的“监督集群”,让这些模型对大模型的输出进行交叉验证、按共识投票。借助“必要多样性原理”与“相对正确公理”,将“未知的未知安全风险”转化为可控制、可处理的“已知的未知安全问题”,把大模型约束在“构造决定安全”的“笼子”之内,使其成为人类可信赖的帮手,而非等待打开“潘多拉魔盒”。

  换言之,内生安全是摆脱传统的单一安全保障与验证体系,通过多元的、异构的不同体系交叉验证保障AI安全,是AI安全可信的“第三条路”,跳出了传统安全“自律”“他律”“外部附加”“被动防护”的思维定式,构建了“从设计源头到制造全程植入安全能力”的新模式。这一颠覆传统防御逻辑的解决方案,实际上是先“升维”、再“降维”,从而能有效处理当前AI安全中的痛点、难点问题。

  依靠多元主体的共识机制与交叉验证的监督集群,能够实现三大目标:一是通过“相对正确公理”让风险“相对可控”;二是借助“群体共识”让多个主体共同当好“风险守门人”;三是在设计阶段就为AI植入“安全基因”,确保AI系统“一开箱就能安全可用”。这条技术路线的价值在于,能让AI在保持创新活力的同时守住安全底线,既可以大胆探索智能驾驶等技术“先导区”,又能依靠内生的“安全笼子”不越界。

  记者:您的研究团队正加速推进AI内生安全概念验证平台的落地见效,期望给“人工智能+”,提供安全的可行路径。请您具体描述一下该项工作的进展,以及未来推进AI安全可信技术落地的关键抓手是什么?

  邬院士:关于内生安全能否破解AI的不确定性风险,能否将AI“不可解释性、不可判定性、不可推论性”带来的不确定性风险转化为概率可控的安全问题,我们已在部分领域取得可喜进展。这些进展并非单点技术改良,而是从底层架构到应用场景的系统级创新,具有突破性意义。

  首先,我们率先构建了人工智能内生安全“超净环境”,解决了数字底座的可信根基问题。这里的“超净”并非传统意义上的物理环境隔离,而是通过建立“受信任执行环境+不确定安全边界归约”技术,为AI应用系统打造的“内生安全实验室”,确保AI模型算法执行过程中始终约束在“可追溯、可验证、可管控”的数字底座安全边界内,规避因外部扰动导致的决策偏差。

  其次,在关键领域的演示验证已取得实质进展。例如,在内容安全检测中,依托内生安全技术能有效识别大模型生成的有害信息;在有线电视网络领域,可保障智能系统生成内容的安全可信;在智能网联汽车领域,端到端的智能决策不再依赖单一“黑箱”模型,而是通过多主体共识机制确保决策与行动可控,为“大模型上车”“大模型驾车”提供了可行路径。

  最后,我们正加速推进人工智能内生安全概念验证平台的落地见效。该平台聚焦网络安全保险大模型、医保稽核大模型、智能建造大模型、智慧家居大模型等高价值领域,开展面向实际应用的概念验证,打通“工程师作品→实验室样品→企业端产品→市场侧商品”的转化链路,期望借助平台的高度集约效能,探索解决AI内生安全技术落地转化的新路径。

  可以说,建设国家级人工智能内生安全检测试验场,是推进AI安全可信技术落地的关键抓手。其定位类似医疗领域的“CT/B超设备/磁共振”设施,通过检测技术、手段、生态创新,实现AI“聪明与向善同步进化”的可量化与可验证目标,推动“AI内生可信治理”,促进AI+行动从“有管理”向“可管理”的历史性转变,同时输出技术标准、孵化产业生态。

  记者:就您研究的领域而言,当前在推进“人工智能+”行动过程中,创新链和产业链实现有效对接还面临哪些障碍?这一过程中最该把握的核心原则是什么?

  邬院士:在“人工智能+”行动中,创新链与产业链有效对接中,面临的关键性障碍是:大规模应用所需的安全可信问题仍未找到妥善的解决方法。只有克服“不靠谱幻觉问题”等不确定风险,AI才有可能成为人类“值得信赖的助手”,各行各业才能用得放心,人工智能对社会各生态系统的快速渗透才不会导致严重的社会性灾难。

  若要克服这个难题,需用内生可信的设计框架,从源头为AI应用筑牢安全根基;同时,需要有可信任、可检测的量纲,能量化评估AI与产业融合的安全程度;此外,还需要普适性高、可行性强的检测理论、建设技术和配套生态,可以规模化、高效地验证AI应用系统安全性。不破解“对人工智能应用系统安全可信进行可量化的大规模检测”这个问题,AI创新链与产业链不可能顺畅对接。

  具体到未来的人工智能内生安全检测试验场建设,将主要聚焦四个方向:一是打造复杂环境下的实验场景,验证“面对不确定风险时,如何建立对AI应用系统的安全信任”;二是借鉴汽车安全标准(ASIL),搭建覆盖AI系统设计、检测、应用全流程的安全框架,解决大模型安全可信设计难题;三是打造“安全可信检测母机”研发平台,研制具有通用安全检测能力的原型系统,再通过开源的概念验证中心、中试基地,推动AI安全检测装备产业化,解决安全评估缺少通用方法、成本高的问题;四是建立跨国技术验证机制,搭建国际协作网络,让中国AI安全新理念汇聚全球发展生态,在联合验证中共建质量标准、完善检测手段、筑牢信任锚点,为全球AI治理贡献可借鉴的方案。

郑重声明:用户在财富号/股吧/博客等社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
作者:您目前是匿名发表   登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
温馨提示: 1.根据《证券法》规定,禁止编造、传播虚假信息或者误导性信息,扰乱证券市场;2.用户在本社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》

扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-61278686 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:4000300059/952500