治理“深度伪造”技术与立法需齐头并进

“PS摧毁大众对图片的信任后，Deepfake也在摧毁大众对视频的信任。

”

作为人工智能领域的新实践，近年来，利用深度学习、虚拟现实等生成合成类算法制作图像、音频、视频、虚拟场景等信息的深度合成技术，已在多个领域大量应用，伴随着不断涌现的使用需求，深度合成内容数量和关注度呈现快速增长态势。

另一方面，每一次技术变革，在造福社会的同时，也不可避免地会带来安全风险。恶意使用该技术生成的音视频，也显现出了巨大的破坏力，给个人、企业造成了声誉损害和财产损失，也对社会、国家安全造成威胁。

一、“眼见不再为实”，换人脸诈骗在全国相继出现

一段视频、一段语音，未必是真人拍摄或录制，在你不知道的手机App后台、支付界面、门禁闸机，或许有人正在盗刷你的脸。随着人工智能（AI）深度合成技术日益精湛，合成的音频、视频等伪造内容越来越能以假乱真。毫无疑问，我们生活的现实世界正在面临技术滥用的风险与挑战。

公开资料显示，在人脸生成、语音合成等领域，已经出现了不少诈骗案例。

近两年来，在浙江、安徽、江苏等地，多名盗取个人信息的犯罪嫌疑人被公安部门抓获。犯罪嫌疑人作案流程极为雷同：先是非法获取他人照片或有偿收购他人声音等“物料”，然后利用人工智能技术将照片“活化”、合成动态视频，之后或直接骗过社交平台、支付宝账户的人脸核验机制，进行非法获利；或骗过手机卡注册过程中的人工审核环节，继而利用他人名下的手机号进行电信网络诈骗、网络赌博等，使被收集信息的人遭受安全威胁和财产损失。

据公安部网安局公布的案例，2020年12月，某公司财务小王接到领导电话，要求立刻给供应商转款2万元。由于老板的口音十分逼真，小王信以为真，在1小时内转款完成，后发现被骗。在净网2021专项行动中，南通警方曾破获了一起AI人脸识别诈骗案件：犯罪团伙利用AI软件伪造人脸识别认证来解绑用户账号，再以低廉的价格将账号卖给下游的诈骗份子，从而非法牟利。

2021年10月，安徽合肥警方曾查获一起非法利用深度合成技术伪造手机用户人脸动态视频破解身份核验，为黑灰产业提供注册虚拟手机卡等技术支撑的案件。近年来，类似事件开始更多的进入公众视野。

深度合成内容模糊了真实和虚假的边界，将对社会信任、媒体信任、政治信任产生巨大的影响。

二、起底Deepfake，AI换脸造假何时休？

什么是Deepfake？

“深度伪造”，也被译作“深度造假”，译自英语中的Deepfake，其是计算机的“深度学习”（Deep learning）和“伪造”（Fake）的组合，出现于人工智能和机器学习技术时代。通俗理解就是把图片和声音输入机器学习的算法，从而可以轻易地进行“面部操作”（Face manipulation）——把一个人的脸部轮廓和表情放置在其他任何一个人的脸上，同时利用对声音的逼真处理，制造出实为合成却看似极真的视频。

从应用上来说，Deepfake主要是对人脸进行篡改和重新编辑，包括表情修改、换脸、换口型、合成新人脸四种模式。其中，换脸和对口型是Deepfake最主要的应用模式，其破坏性和杀伤力也最强。

“深度伪造”引起大家的特别关注，并上升至内容安全层面的考虑，是在2019年。这一年，基于深度伪造技术的应用软件相继推出，在应用商店相继登上榜首，获得数以亿计的用户。

FaceApp的人脸“变老”，ZAO和Reface的人脸交换，“蚂蚁呀嘿”的人脸表情驱动、“美图秀秀”的人脸编辑、“无中生有”的人脸合成……这些软件中的瞬间“变脸”特效，向人们展示了人脸伪造逐渐细分化的趋势。

与传统图像视频处理技术相比，深度伪造技术具有“门槛低、效率高、质量好”的特点，所以它也被探索用于影视、医疗、虚拟现实等商业，比如在影视后期制作中，表情操纵、全脸替换等深度合成技术可以被用于影视剧本地化嘴型修改、虚拟IP打造等场景中。

然而，与正面效应相比，这些特性也同步放大了潜在威胁和安全隐患。目前，深度伪造的技术门槛正大幅降低，网络上充斥着大量伪造教程和开源可用的计算机程序，即便是不具备专业算法能力的普通用户，也可以在很短时间内轻松上手。尤其依托深度学习算法特性，在海量图像和视频数据的驱动下，深度合成技术不断演进迭代，仿真精度不断得到提升。所以，制作一段高逼真度的虚假音视频成本极低，却可以借助社交媒体等平台短时间风靡互联网。对于这样一种技术，如果不进行规制，将产生可怕的后果。

比如：深度伪造技术的大规模滥用正侵害到社会公众的合法权益。深度伪造技术最常见的非法运用方式，将一些知名歌星、影星等公众人物的脸“移花接木”到色情明星身上，伪造色情片非法牟利，或者是伪造恶搞视频，这对个人名誉权与肖像权构成严重侵害。

其次是公众财产安全，不法分子可以利用漏洞劫持手机识别摄像头，利用照片活化、表情操纵等深度伪造技术冒充机主，进而对机主的微信好友实行转账诈骗。同样的，电信诈骗中也有类似利用“语音伪造”技术的案例。

不仅如此，深度伪造还将会对社会安全和国家安全造成威胁。例如，借助互联网平台捏造虚假新闻、炮制政治谣言，深度伪造技术大大增加了网络内容监管的复杂性，也带来了社会信任危机与网络政治安全风险。在病毒式传播的深度伪造背后，可能蕴藏着操纵社会舆论、激化社会矛盾与扰乱正常社会经济秩序等系统性的危害。

三、引导技术向善，完善AI风险治理体系

一方面，需发挥技术能力，阻止AI滥用，用魔法打败魔法。

“科技为更好”是科技的使命，更是科技缔造者的初衷。对于科技企业而言，如何使AI服务于民、造福于民，为“全民反诈”注入科技力量，必将是行业研讨的重点。

随着深度伪造的负面风险不断加剧，如何有效甄别深度合成内容就成为了关键，但随着合成质量的不断提升，传统基于生物特征的鉴别方式越来越难以发挥作用。因此，开发有效的人脸伪造检测方法是保证信息安全的当务之急。

人民中科专注内容安全领域，研究团队针对深度伪造的不同场景和难点，通过机器学习、算法学习和模型训练，在技术能力上，具备基于身份空间约束的身份交换型伪造人脸鉴别和基于噪声一致性的伪造人脸鉴别等多种伪造人脸鉴别技术能力。

同时，人民中科依托世界领先的内容理解技术和核心产品跨模态智能视频搜索引擎“白泽”，提供面向政府和企业的内容安全服务、内容监测及版权保护、内容情报挖掘、内容安全测评和互联网内容审核、风控、巡检等系统，一站式内容风控解决方案，全方位护航数字世界网络安全与治理。

另一方面，需要完善相关法律法规，技术与立法亟需齐头并进。

近年来，针对深度合成技术遭恶意使用，各国纷纷出台相关法律法规，探索深度合成的治理路径。美国从联邦和州层面进行专门立法，欧盟将深度合成纳入《通用数据保护条例（GDPR）》等现有法律框架规制。国家网信办公布的《互联网信息服务深度合成管理规定（征求意见稿）》，亦对深度合成技术作出了一系列较为明确的规定和指引。因此，刑法应对深度合成技术滥用行为予以规制，同时从风险防控的角度，加强对个人信息安全的保护。

同时，2022年3月，我国首个国家层面的科技伦理治理指导性文件《关于加强科技伦理治理的意见》发布，凸显技术伦理治理的重要性紧迫性。在今年的最高法工作报告中，包括人脸安全在内的个人信息安全等多次被提及。

最后，技术是中立的，但使用技术的人是有立场的。对于“深度伪造内容”，平台也应依法履行安全管理义务，落实管理责任，围堵黑色产业链的生存空间。

责编：岳青植
监制：李红梅

END

参考来源：

1.《多地现变脸诈骗案：合成一个视频最低2元，人工审核难辨真假》新华社

2.《起底多地发生的“变脸”诈骗案》北青网

3.《国际安全研究》2022年第3期

4.《全民反诈进行时，AI“亮剑”打击网络诈骗》新华网

5.《深度伪造色情图片？国家网信办拟出新规：深度合成内容需标识》南方都市报

6.《“换脸”真相：“深度伪造”的网络狂欢和安全威胁》环球网

7.《一张图片就能“活化”成视频？警惕AI深度合成击穿风险底线》半月谈

关于人民中科

人民中科智能技术有限公司，是人民网与中科院自动化所共同发起设立的“人工智能技术引擎”和科技成果转化平台，拥有世界领先的内容理解技术，核心产品是跨模态智能搜索引擎“白泽”，初始应用场景是数字世界的安全，目标是成为全球内容科技领导企业。