一张静态照片,借助人工智能技术,就可以变成你的亲友正在与你对话。近日,博主“滤镜粉碎机”用一段15秒AI换脸视频,3个小时就“骗”走团队成员妈妈两万元,该视频上线后引发网友们关注和热议。
而从评论区不难看出大家的担忧,随着AI技术的日益进步,越来越多不法分子利用AI融合他人面孔和声音,从而制造逼真的虚假合成图像,2024年中央广播电视总台3·15晚会就曝光了使用“AI换脸”进行诈骗的行为。
据此前媒体调查,60%的受访者表示凭借肉眼辨认不出AI换脸视频。
如何鉴别和防范AI换脸骗局,9月10日,封面新闻记者采访了博主“滤镜粉碎机”,并咨询了相关律师。
“滤镜粉碎机”AI换脸视频截图
博主测评AI换脸
3小时“骗”走团队成员妈妈两万元
“妈,我女朋友怀孕了,需要两万块做检查和治疗。”
在接到求助信息后,中年女子接通了儿子打来的视频电话,看着电话那边儿子活灵活现的脸后,她的内心从半信半疑逐渐变为不可思议。尽管儿子电话一直无人接听,尽管身边亲友反复提醒可能是骗局,中年女子在反复犹豫、内心挣扎后还是选择将2万元转入了“儿子”指定的账户里。
以上情景源于b站博主“滤镜粉碎机”的AI换脸测评试验,其用一段15秒AI换脸视频,三小时就“骗”走团队成员妈妈一年的收入,该视频一出引发大量关注。不少网友在评论区反映自己也有过类似的被骗经历,“骗子来电,声音容貌和我家人一模一样。”
“滤镜粉碎机”AI换脸视频截图
制作该视频的初衷为何?博主“滤镜粉碎机”接受记者采访时表示,“从美国总统竞选‘假视频’到韩国再现‘n号房’丑闻”,团队成员注意到AI换脸犯罪在三年前还只是学术命题,去年开始大量增加,今年仅在东南亚地区发动的造假攻击就达到去年的10倍,同时团队得到了外滩大会AI创新赛协办单位的技术支持,所以大伙儿一拍即合,着手制作了以上视频。”
因为实验对象是团队成员的父母,担心老人家受到过度刺激,所以团队选择的是“女友怀孕”“在泰国拉肚子”等稍微温和一点的理由。然而,让大伙儿暗吃一惊的是,一向精明沉静的父母在听见孩子遭遇意外需要经济支援,尤其是见到视频中生动的人脸后,都会出现不同程度的焦灼。在经历儿子电话不通、各种渠道确认无果后,其中一位母亲明知有骗局的可能,在反复纠结后还是选择向“儿子”指定的账户汇了款。
“这些稍微轻量级的借口都能让父母焦灼不安,更不用说那些用AI伪造孩子被绑架、虐待的视频,只要联系不到孩子,父母就不可能淡定,即使心里知道这件事可能只有1%的真实性,他们也不可能拿孩子的安全去赌。”
试验过后,博主向记者感叹:“只能说,越爱你的人越容易被AI诈骗。”
视频引发网友热议
如何识别AI的破绽?
多询问 多互动 多验证
在评论区有网友提问:“我们这边的方言很难学,是不是AI换脸就不太容易效仿了?”
对此疑问,“滤镜粉碎机”表示,经过团队的试验发现,AI的学习能力比想象中更加强大,学习效率惊人。“可能几天就能将一个地方语言模仿得惟妙惟肖,所以从语调、口音等方面不足以判定。”
那具体应该怎么鉴别?该博主的回答是:不断和对面的“亲人”互动,多问问题,回答越多越容易露出破绽。
“比如‘上个礼拜天我们上哪里吃饭,你觉得味道怎么样’‘外婆新买的那件衣服好看吗?’‘你今年生日我送你什么礼物还记得吗’等等,多询问只有你们两个人才知道的问题答案。”该博主谈到,再强大的人工智能技术也不可能计算到亲人、朋友、情侣之间生活的点点滴滴,此所谓“用AI(爱)打败AI”。
视频引发网友热议
如何抓住AI换脸露出的马脚,相关技术人员也有所攻克。
在2024年国家网络安全宣传周网络安全博览会现场,某科技公司工作人员接受媒体采访时分析,AI换脸过程主要包括人脸识别追踪、面部特征提取、人脸变换融合、背景环境渲染、图像与音频合成等几个关键步骤。其背后的原理可大致概括为三个部分:利用深度学习算法精准识别视频中人脸图像,提取关键面部特征;将上述特征与目标人脸图像进行匹配、替换、融合;通过背景环境渲染并添加合成后的声音,生成逼真度较高的虚假换脸视频。
AI换脸操作
“以诈骗为目的,实施点对点视频通话,需要AI人工智能生成仿真度极高的视频。而想要达到以假乱真效果用于诈骗,难度不小。”
工作人员表示,只要稍加留心,AI换脸还是有明显破绽的,“马脚”就在面部轮廓和光线上,可以仔细观察下是否清晰。有必要的话,还可以要求对方快速大幅度地做点头等动作,从而观察其面部轮廓是否有异常模糊。
AI换脸操作
及时规范使用原则
重视AI防御技术的升级
毫无疑问,“假人假声”的合成视频、图片的传播和使用触及到了法律红线。
北京京师(成都)律师事务所律师顾小兵指出,犯罪嫌疑人利用AI技术,换脸成被害人亲属实施诈骗,虽然手段“很高明”,但无疑涉嫌诈骗罪,其本质仍然是以非法占有为目的,虚构事实、隐瞒真相,骗取他人钱财,而且可以说手段更恶劣,情节更严重。
顾律师说,除了利用AI实施刑事犯罪,在民事领域更可能存在侵权,比如,把自己的脸换在明星头上,或者把明星的脸换在自己头上,不管是出于好玩还是炫耀,都可能侵犯他人肖像权、隐私权等,在生活当中要慎之又慎。
顾律师认为,AI技术是把双刃剑,用得好,可以成为人类很好的辅助工具;用得不好,就会危及他人人身财产安全。只有从开发者、应用者、参与者、传播者等方面切入,进行全方位的法律约束和技术规制,做到依法使用、合理使用、善意使用,才能避免技术成为破坏者。
面对愈发强大的AI技术,如何用好这把双刃剑,将风险关进笼子里?
博主“滤镜粉碎机”谈到,团队作为自媒体,能做到的就是警示和宣传,他们希望业内人士能投入资金、数据开源,不仅把注意力放在商业利益上,也要重视AI防御技术升级。同时,民众自身也应当增强个人信息保护意识和防诈意识。
“看脸不行,我们就多问对方十万个为什么?问到他答不上来崩溃到主动放弃诈骗为止。”四川国普律师事务所律师贾子凤和博主“滤镜粉碎机”观点一致,不过她提到,针对部分人尤其是一些老年人来说,可能并不具备这样的反诈能力,所以平时对防范能力弱的亲人和朋友,还是要加强宣传,就每个人而言,不要随意通过手机、网络和社交平台留下自己照片等个人信息,让不法分子无法有机可乘。