海报新闻首席记者解强民记者孙来彬报道
“这些都是AI伪造的我的照片,我已经到派出所报案了。”今年以来,青岛保时捷中心的销售冠军牟倩文深受困扰:有人利用AI(人工智能)技术,恶意将她的照片生成黄色视频在网络上传播。在社交平台上,牟倩文留下了“清者自清”的无奈声明,呼吁网友不造谣,不传谣。
近年来,随着AI技术飞速发展,普通人驾驭AI工具的门槛越来越低,与之相伴的风险则急速上升。AI换脸、AI克隆声音等侵权问题频频发生。
被AI“偷走”面孔、声音后
他们损失了名誉、金钱和安全感
很长一段时间里,牟倩文的名字常跟保时捷一起出现在热搜榜单上。2023年、2024年,她连续两年卖出170辆保时捷汽车,成为保时捷中国北区销冠。万万没想到,这份靠业绩赚来的名气,却成了她被造谣的“导火索”。
今年10月,牟倩文发现网上出现大量由AI恶意合成的黄色视频,主角都长着一张她的“脸”。这让她感到惊恐又愤怒。更过分的是,还不断有人通过私信调侃她,给她的工作和生活带来很大伤害。最终,她选择了报警。
警方迅速展开调查。10月12日,青岛市公安局李沧分局对涉事男子丁某某作出行政拘留五日的处罚。这已经是一年之内,牟倩文第二次被此类视频困扰。连续被人造“黄谣”,这让小有名气的她感到心力交瘁。
而网络“素人”韦先生也有类似的遭遇。今年5月,南宁市民韦先生收到一条奇怪的短信。短信中有一张“他”裸露上半身与一名裸体女性亲昵的视频截图,并附有文字:“韦××,这是我最后一次联系你了,我也不想你因此事悔恨终身,看到照片速回,过时不候!”
“我当时看到短信,脑子一懵,第一反应就是我的信息肯定被泄露了。”意识到可能是不法分子利用AI合成照片进行诈骗,韦先生第一时间报了警。
牟倩文、韦先生的遭遇并非个例。海报新闻记者注意到,随着AI技术的进步,AI换脸、克隆声音等侵犯公民名誉权和隐私权的现象时有发生。
今年年初,山西太原的配音演员武扬偶然发现,自己的声音被偷偷克隆,用于广州一家火锅店的宣传片配音解说。
武扬确实与该火锅店有过合作。吊诡的是,他翻遍各种记录,均显示双方合作发生在去年。那么,眼前这支最新的宣传片中的“自己的声音”是从哪儿来的呢?
他找到对方,很快得到答复:店家为了节省成本,直接将此前合作中的武扬的声音“喂”给AI,经过学习后,几乎“零成本”克隆生成了新的宣传片配音。
“我真的非常气愤。在未确认这是AI配音前,我甚至在怀疑自己,这到底是不是我配的音?是不是我自己忘记了?因为声音真的太像了。”
从发现这件事到如今已过去半年,涉事火锅店虽然删除了相关视频,但双方始终未就赔偿问题达成一致。在此期间,武扬又发现了另外两条克隆自己声音的商业视频。作为从事配音工作的专业人员,他感到不寒而栗。
目前,武扬正在尝试通过法律途径维权。
AI滥用门槛有多低?
记者实测:2分钟时间就能无中生有
更值得警惕的是,AI工具极低的使用门槛已挡不住各怀心思的使用者们——不管这心思是非法牟利,还仅仅是好奇。
“家中闯入流浪汉,速回!”10月17日晚,安徽一女子用AI工具生成了高度逼真的“流浪汉卧坐餐厅”等图片,发给在外聚餐的丈夫,想测试其反应。没想到,丈夫信以为真,当即报警求助。民警赶到现场,确认是一场虚惊。
记者调查发现,近期已有多地出现过因“AI整蛊”引发的闹剧,有的引得亲属连夜从外地赶回,有的甚至引发整栋楼被逐层排查。民警提醒,此类行为若造成严重后果,可能触犯法律红线,涉事人员将面临拘留罚款,严重的需承担刑事责任。
曾经只出现在科幻片里的AI技术,如今的使用门槛到底有多低?海报新闻记者进行了现场实测。
以虚拟一段“流浪汉闯入家中”的视频为测试目标,记者先拍摄了一张自家厨房的照片,将照片上传到“可灵AI”“即梦”等AI软件中,随后输入一段指令性的提示词:一名流浪汉站在厨房门口,他的手里拿着一个馒头。点击生成按钮,十几秒后,一张流浪汉站在记者家中厨房的照片便出现在眼前。
“照片可以PS,有视频才有真相。”抱着这样的想法,记者继续尝试。
在生成上述图片的基础上,记者继续点击生成视频按钮,并加上了描述动作的提示词:流浪汉吃了一口馒头,走到镜头前,笑了笑。几十秒后,任务完成,一段时长5秒的视频就这样生成了:流浪汉非常自然地咬了一口馒头,往前走了几步,露出微笑。视频内容与提示词的要求高度一致,甚至还能看到流浪汉走动时在门窗玻璃上映出的影子!
记者招呼同事们一起来分辨,几个人瞪大眼睛看了半天,也没找出明显的破绽。整个“图生图、图生视频”的过程用时仅120秒,付费用户还可以下载无水印的高清图片和视频。
传统印象中,想要利用软件伪造足以乱真的图片、视频,少不了高端昂贵的设备和精通代码的程序员。然而现实摆在眼前:下载一个软件,输入一两句话,就能办到。
业内人士指出,AI生成工具已实现“单图换脸”“场景植入”等功能,通过深度学习算法提取面部特征点及环境元素,可快速完成图像融合和动态生成。在此背景下,部分平台对训练语料管理不严,且未落实合成内容标识要求,导致大量虚假信息以隐秘方式传播。
用AI“管”AI是否可行?
AI治理办法亟需迭代升级
AI技术正在重塑生产生活方式。从横空出世的ChatGPT到无所不能的深度求索(DeepSeek),短短两年,人们已迅速习惯了使用AI工具。然而,迭代升级的不仅有算法,还有与之相伴的滥用风险。
短暂的惊恐和愤怒后,武扬现在有了新的担忧:以后他们(不法分子)会不会用我的声音给我的家人朋友打电话,甚至去诈骗?
有业内人士认为,分辨一段视频或声音是否是经过深度合成,最好的办法是用AI“管”AI。
人工智能大模型研究员潘季明表示,从技术角度来说,基于AI技术去识别AI内容是最快的方式。例如,专门的深度伪造鉴别模型可用于分析视频和音频中的不自然特征,如检测眨眼频率、面部肌肉运动生理一致性、音频与纯嘴唇同步率、光源一致性等等,从这些细微的物理或生理破绽中发现端倪。
北京市竞天公诚律师事务所律师马盛君指出,由人工智能引发的致损事件不断增加,尽管现有的《民法典》中针对特定场景的侵权责任规则可以调整某些人工智能应用,但无法一般性地调整不同类型的人工智能侵权行为。他呼吁人工智能服务提供者,加强内容审核和审查工作,确保技术的合法合规使用。
面对愈演愈烈的AI滥用和侵权现象,监管层面启动了多重应对措施。2025年4月,中央网信办开展“清朗·整治AI技术滥用”专项行动。第一阶段累计处置违规小程序、应用程序、智能体等AI产品3500余款,清理违法违规信息96万余条,处置账号3700余个。9月1日,《人工智能生成合成内容标识办法》正式实施,其中明确要求服务提供者对合成内容添加元数据标识,杜绝“无标识传播”。
今年早些时候,最高法院刑事审判第三庭庭长陈鸿翔在接受媒体采访时表示,针对AI深度伪造带来的新情况新问题,最高法将加强研究,会同相关部门及时出台规范性法律文件或实施细则,完善法律适用。针对电信网络诈骗犯罪这一AI侵权的重要表现形式,他指出,诈骗分子利用AI深度伪造新技术不断翻新诈骗手法,防范打击难度越来越大。对此,人民法院将积极应对挑战,强化法律支撑,完善相关法律规范。
降低技术门槛原本是为了方便AI生产工具的普及应用,却在不经意间,打开了滥用AI的“潘多拉魔盒”。随着技术的发展,AI治理办法也亟需一次迭代升级。