AI大模型已在众多领域广泛应用,其强大能力来源于算法、架构以及大量高质量的数据语料。但与此同时,数据安全问题也随之凸显,其中AI“套话”现象正引发业内关注。
在2025年中国国际大数据产业博览会期间,《中国经营报》记者采访了一家网络安全公司的首席技术官。他指出,大模型本身包含了大量敏感和关键信息,就像一个巨大无比的数据库。与传统数据库不同,传统数据库只有在接收到特定指令时才会输出数据,不具备自主思考能力;而大模型因具备一定的推理与发散能力,更容易在对话中被“套话”。
所谓“套话”,就是指像人与人交流时不经意间泄露信息一样,AI在交互过程中也可能因被引导而暴露敏感内容。该人士表示,从技术层面看,在数据库调用或问答过程中,大模型可能因不当询问而泄露信息;在训练阶段,由于语料规模庞大,也可能无意间将敏感信息纳入其中,使得模型“记住”这些内容,并在后续交互中被引出。
他进一步强调,大模型应用的系统链路往往十分复杂,涉及多个环节和交互过程,从数据传输、存储到调用,任何一个环节出现漏洞,都可能为“套话”提供机会。因此,判断AI是否存在“套话”风险,必须从整体上审视交互系统,逐环排查安全隐患。
AI被“套话”所带来的风险不容忽视,可能导致个人隐私泄露、企业核心竞争力受损,甚至威胁国家安全。“我们必须高度重视这一问题,通过观察交互过程、分析回答内容、理解技术原理以及审视系统链路等方式,准确判断AI是否存在‘套话’,并采取有效措施加以防范,让AI技术在安全可控的环境中更好地服务社会。”该人士表示。
他还介绍,如今新一代的MCP(Model Context Protocol,模型上下文协议)技术正在兴起。该技术通过MCP协议,使大模型能够调用数百甚至上千个工具。然而,伴随功能扩展而来的,是更复杂的网络与数据安全风险。
“看似简洁的用户体验,背后往往是庞大而复杂的数据和系统交互。大模型作为典型的数据驱动型产品,对数据安全的依赖尤为突出。稍有不慎就可能引发泄露事件,而事实上,此类案例已经屡有发生。因此,数据安全无疑是当前最需关注的重点。”他最后强调。