随着人工智能技术加速融入互联网平台治理实践,AI正成为提升内容识别效率、风险研判能力和生态治理精细化水平的重要支撑。与此同时,社交平台面临的风险形态也在持续演变,黑灰产作弊、虚假人设、诱导消费、私聊骚扰等问题呈现出更强的隐蔽性和链路化特征,这一变化对平台治理的及时性、准确性与系统性提出更高要求。
近日,SoulApp发布《2026年第二季度生态安全报告》。报告显示,二季度,Soul进一步将AI技术应用于反诈、违规内容处置、群聊与私聊治理、未成年人保护等环节,推动风险识别从单一内容审核向对账号、行为和社交链路的综合研判延伸。
AI风控持续前移
社交场景精细治理
针对黑灰产账号批量注册、快速发布和频繁变换内容等特点,Soul在原有安全审核能力基础上,进一步增强了对批量作弊行为的识别能力,将更多风险内容拦截在进入社区传播链路之前。经过持续优化,相关策略的风险内容处置率由上线初期的约30%提升至60%,进一步缩短了黑灰产账号在平台内的活动周期。
在诈骗风险治理方面,相较于依赖固定关键词的传统审核方式,新能力能够结合账号特征、互动行为和内容语义进行综合判断。目前,相关Agent能力的识别准确率已达到93%以上,为高风险账号的前置发现提供新的技术支撑。
与此同时,平台继续治理盗用他人图片、虚构身份以及批量搬运人设内容等问题。二季度,Soul累计处置假人设违规账号3万余个,识别并处理相关帖子8万余条,减少了虚假身份内容对真实社交体验的干扰。
在二季度,Soul继续围绕广场、群聊和私聊等主要互动场景完善治理策略,重点处置低俗擦边、有偿交友、攻击辱骂及违规引流等内容。报告显示,平台二季度通过机审直接拦截违规内容400万条,处置相关跟帖评论726万条,累计拉黑违规设备3723个。与此同时,平台日均向2533名用户进行社区规范和文明表达提醒。
对于影响社区内容质量的低俗、攻击性和引流信息,平台通过识别、审核和流量限制等方式进行综合处置,日均处理相关低质内容超过13万条;针对以虚假邀约、诱导线下消费为主要特征的“消费托”风险,Soul在二季度上线专项自动化治理策略,累计处置相关风险账号约3.2万个,降低用户因虚假社交关系遭遇诱导消费的可能性。
完善AI生成内容提示
未成年人保护进一步强化
在将AI用于生态治理的同时,Soul也在完善社区内AI生成内容的识别和提示机制。针对AI人像、虚假生活场景以及疑似盗图内容,平台综合分析图片元数据、外显标识、人像和图像特征,对可能影响真实社交判断的内容进行分层识别。在识别到相关特征后,平台将通过中性提示帮助用户了解内容属性。相关识别过程在后台完成,不影响用户正常发帖和内容展示,重点在于提升用户对内容来源的知情度,而非限制正常使用AI辅助表达。
此外,二季度Soul进一步强化未成年人保护机制,新增了针对未成年人发帖内容的AI审核能力。系统在内容发布环节辅助判断账号是否可能属于未成年人,并结合未成年人安全标准识别相关风险,提升平台主动发现问题的效率。
目前,平台主动识别未成年人的比例已超过99%,在此基础上,平台将持续完善未成年人身份识别、内容审核与风险干预之间的协同机制,根据不同风险场景采取相应保护措施,推动未成年人保护相关治理由事后处置进一步向主动识别、提前防范延伸。
未来,Soul将继续推动AI能力与人工审核、产品机制和用户教育深度结合,不断提升风险识别的及时性、治理处置的准确性和平台管理的精细化水平。同时,平台也将持续关注新技术、新场景带来的风险变化,完善覆盖内容、账号、设备及互动链路的全流程治理体系,并通过规则引导、功能优化和安全教育,进一步增强用户的风险防范意识。
面对不断变化的网络生态,Soul将始终坚持安全与体验并重,为用户营造更加安全、真实、友善、有序的社交环境。