• 最近访问:
发表于 2025-09-02 23:07:20 股吧网页版
专家:部分AI知无不言,成“套话重灾区”|数博会
来源:中国经营报

  AI大模型已在众多领域广泛应用,其强大能力来源于算法、架构以及大量高质量的数据语料。但与此同时,数据安全问题也随之凸显,其中AI“套话”现象正引发业内关注。

  在2025年中国国际大数据产业博览会期间,《中国经营报》记者采访了一家网络安全公司的首席技术官。他指出,大模型本身包含了大量敏感和关键信息,就像一个巨大无比的数据库。与传统数据库不同,传统数据库只有在接收到特定指令时才会输出数据,不具备自主思考能力;而大模型因具备一定的推理与发散能力,更容易在对话中被“套话”。

  所谓“套话”,就是指像人与人交流时不经意间泄露信息一样,AI在交互过程中也可能因被引导而暴露敏感内容。该人士表示,从技术层面看,在数据库调用或问答过程中,大模型可能因不当询问而泄露信息;在训练阶段,由于语料规模庞大,也可能无意间将敏感信息纳入其中,使得模型“记住”这些内容,并在后续交互中被引出。

  他进一步强调,大模型应用的系统链路往往十分复杂,涉及多个环节和交互过程,从数据传输、存储到调用,任何一个环节出现漏洞,都可能为“套话”提供机会。因此,判断AI是否存在“套话”风险,必须从整体上审视交互系统,逐环排查安全隐患。

  AI被“套话”所带来的风险不容忽视,可能导致个人隐私泄露、企业核心竞争力受损,甚至威胁国家安全。“我们必须高度重视这一问题,通过观察交互过程、分析回答内容、理解技术原理以及审视系统链路等方式,准确判断AI是否存在‘套话’,并采取有效措施加以防范,让AI技术在安全可控的环境中更好地服务社会。”该人士表示。

  他还介绍,如今新一代的MCP(Model Context Protocol,模型上下文协议)技术正在兴起。该技术通过MCP协议,使大模型能够调用数百甚至上千个工具。然而,伴随功能扩展而来的,是更复杂的网络与数据安全风险。

  “看似简洁的用户体验,背后往往是庞大而复杂的数据和系统交互。大模型作为典型的数据驱动型产品,对数据安全的依赖尤为突出。稍有不慎就可能引发泄露事件,而事实上,此类案例已经屡有发生。因此,数据安全无疑是当前最需关注的重点。”他最后强调。

郑重声明:用户在财富号/股吧/博客等社区发表的所有信息(包括但不限于文字、视频、音频、数据及图表)仅代表个人观点,与本网站立场无关,不对您构成任何投资建议,据此操作风险自担。请勿相信代客理财、免费荐股和炒股培训等宣传内容,远离非法证券活动。请勿添加发言用户的手机号码、公众号、微博、微信及QQ等信息,谨防上当受骗!
作者:您目前是匿名发表   登录 | 5秒注册 作者:,欢迎留言 退出发表新主题
温馨提示: 1.根据《证券法》规定,禁止编造、传播虚假信息或者误导性信息,扰乱证券市场;2.用户在本社区发表的所有资料、言论等仅代表个人观点,与本网站立场无关,不对您构成任何投资建议。用户应基于自己的独立判断,自行决定证券投资并承担相应风险。《东方财富社区管理规定》

扫一扫下载APP

扫一扫下载APP
信息网络传播视听节目许可证:0908328号 经营证券期货业务许可证编号:913101046312860336 违法和不良信息举报:021-61278686 举报邮箱:jubao@eastmoney.com
沪ICP证:沪B2-20070217 网站备案号:沪ICP备05006054号-11 沪公网安备 31010402000120号 版权所有:东方财富网 意见与建议:4000300059/952500