南都N视频报道《AI虚拟伴侣乱象调查:可选小三暴力剧情,角色表达带性暗示》,曝光了虚拟伴侣App“青少年模式”可一键跳过、聊天中充斥低俗话语等乱象,调查推出后,多个涉事平台已强化实名认证,其属地网信部门介入督促整改。此外,报道还持续推动行业自律。
6月25日,南都N视频记者从Soul App获悉,Soul App近日举办人工智能伦理与治理委员会成立仪式。平台针对未成年人保护建立专项体系,包括强制性不向未成年人提供虚拟人服务等。
在上述活动仪式上,上海市青少年研究中心主任李清川表示,“青少年与AI的关系会深刻影响一代人的社会认知和情感能力,需要关注规避拟真陷阱,虚拟人要保持适度‘非人感’或增加显著提示,让青少年始终清楚自己在与AI互动;此外,要避免情绪识别模型的误判可能对青少年造成二次伤害。”
Soul建立未成年人保护专项体系
据介绍,Soul是一家专注于情绪感知与交互、模型与应用一体化的AI生态公司。6月23日,Soul App举办人工智能伦理与治理委员会成立仪式。与会外部委员来自互联网治理、伦理学、社会学、青少年研究、法律等不同领域。
南都记者获悉,针对行业关注的虚拟人交互安全、行为边界与AI沉迷等问题,Soul建立AI虚拟人双向审核机制,用户输入内容在进入模型前,需要经过色情低俗、违法违规、攻击辱骂等多项安全策略审核;模型生成内容在输出前,还需经过独立的AI安全模型和内容审核策略再次校验。
此外,Soul在站内设置了显著的AI虚拟人标识,并且在虚拟人对话交互界面设置常态化固定标识,持续展示“内容由AI生成”提示文案。今年3月,Soul平台全面上线“AI社交时长提醒”功能,当用户与虚拟伙伴连续对话达到2小时,系统将触发数字提醒窗口。

Soul平台的《社区公约》。
5月,Soul对《社区公约》进行了AI相关补充更新,新增关于AI生成内容、AI互动行为以及AI虚拟角色等场景的使用规范,进一步明确AI在社区中的使用边界。针对未成年人保护,平台建立了专项体系,包括强制性不向未成年人提供虚拟人服务,上线未成年人模式等。
Soul App创始人、CEO张璐表示,“过去一段时间,我们进行了数据安全、用户隐私保护、AI防沉迷、AI治理机制升级等多维度的探索,而通过委员会的成立,我们希望能够进一步凝聚自律共识、拓展治理视野,更前置、系统地建立AI伦理治理体系和管理闭环机制。”
Soul App CTO、人工智能伦理与治理委员会主任委员陶明表示,在AI越来越像“真人”的背景下,如何确保用户清晰理解AI身份、保障知情权和选择权,将是平台未来治理的重要方向。此次成立人工智能伦理与治理委员会是平台系统化构建AI治理机制的重要一步。
专家指出虚拟人服务应增加AI显著提示
南都此前报道,4月,国家网信办等五部门联合公布《人工智能拟人化互动服务管理暂行办法》,对生成淫秽、色情、暴力或可能引发未成年人产生极端情绪内容等行为划出红线。
在此背景下,南都记者实测“EchoMe”“筑梦岛”“喵呜小手机”等多款AI虚拟伴侣App发现,这些打着“情感陪伴”旗号的应用普遍存在安全与合规漏洞:“青少年模式”可一键跳过,“AI生成”标注不清,还惯用“付费解锁亲密剧情”等方式诱导消费。
此外,App系统预设角色中有大量性感黑丝、袒胸露乳的女性人物,不仅可以在对话中随意选择“暴力”“小三”“离婚互怼”等极端剧情,聊天中还充斥着具有性暗示的低俗话语。
调查发布后持续推动行业整改,助力“矫正”AI虚拟伴侣服务:多个平台回应整改,多地网信部门介入,深圳、广州消委会呼吁平台方立即停止向未成年人提供虚拟伴侣服务,全面下架涉嫌低俗、暴力、擦边人设等不良内容,完善实名认证、青少年模式及消费限额等机制。
南都记者获悉,Soul App人工智能伦理与治理委员会外部委员,上海市青少年研究中心主任李清川表示,“青少年与AI的关系会深刻影响一代人的社会认知和情感能力,全社会需要关注三个问题:第一是规避拟真陷阱,虚拟人要保持适度‘非人感’或增加显著提示,让青少年始终清楚自己在与AI互动。”
李清川表示,“第二个问题是明确纠错机制,在AI深入治理流程中,要建立明确纠错机制,避免情绪识别模型的误判可能对青少年造成二次伤害;第三是塑造情感能力,充分利用平台积累的青少年社交行为数据,提炼场景,强化情感能力教育。”
Soul App人工智能伦理与治理委员会外部委员,上海社会科学院新闻研究所互联网治理研究中心主任方师师则指出,“关于陪伴式AI过度沉迷的问题,需要从技术与社会两个方面来看:在技术层面,需要关注算法与模型的公平性、透明性以及问责机制;在社会层面,更应关注社会系统的结构性因素,如对需要关爱的群体是否有足够的社会支持,公共文化设施是否提供了足够丰富的线下选择等。”