深度伪造技术（Deepfake），是指“生成式对抗网络”（GAN）的机器学习模型将图片或视频合并叠加到源图片或视频上，借助神经网络技术进行大样本学习，将个人的声音、面部表情及身体动作拼接合成虚假内容的人工智能技术。深度伪造最常见方式是AI换脸技术，此外还包括语音模拟、人脸合成、视频生成等。它的出现使得篡改或生成高度逼真且难以甄别的音视频内容成为可能，观察者最终无法通过肉眼明辨真伪。

“深度伪造”（Deepfake）是英文“deep learning”（深度学习）和“fake”（伪造）的混合词，即利用深度学习算法，实现音视频的模拟和伪造，也就是通过人工智能技术中的深度学习模型将图片或者视频叠加到原始图片或视频上，借助神经网络技术，对大量数据进行学习后，将人的声音、面部表情及身体动作拼接合成为非常逼真的虚假内容。其是随着生成对抗网络（GAN）等深度学习技术的发展而出现的。最常见的方式是AI换脸（例如deepfake、face2face等技术），此外还包括语音模拟、人脸合成、视频生成等，统称为深度伪造。

1994年，在上映的影片《阿甘正传》中，制作者用原始的“换脸”技术，将肯尼迪的影像填充到电影中，并调节他的表情和肢体语言。

2015年，自然语言处理领域学者、斯坦福大学的克里斯托夫·曼宁（ChrisManning）教授在计算语言学学会年会上发表致辞时表示：深度学习已经在计算语言学领域应用多年，但是直到2015年，它才以海啸般的威力席卷了自然语言处理的所有主要会议。

深度伪造这一概念最早出现在2016年，一开始专指基于深度学习的人像合成技术，后来这一概念扩展到视频伪造、声音伪造、文本伪造和微表情合成等多模态合成技术。

2018年4月，一段主角为美国前总统奥巴马的视频，在推特上获得200多万次的播放和5万多个点赞。奥巴马在视频中说“特朗普是个彻头彻尾的笨蛋”。但实际上这段话并非出自奥巴马，而是美国一位导演公开发表的言论。

2018年5月，美国总统特朗普宣布中止全球气候变化协议，随后被比利时某政党利用“深度伪造”技术篡改，做出一个“特朗普宣告比利时政府也应退出”的假视频，引起比利时民众的公愤。

2020年，世界经济论坛相关报告指出，在选举中“深度伪造”技术已经成为一种武器。语音和视频操纵被用来诽谤政客并影响数百万人。

2021年3月，有犯罪分子利用“深度伪造”技术，电脑合成某公司CEO的声音，成功诈骗22万欧元。

2022年，随着生成式人工智能模型的不断进步和趋于成熟，人工智能技术引发强烈关注。

2024年，春节期间，OpenAI发布的文生视频模型Sora横空出世，被认为是“AGI（人工通用智能）的重要里程碑”，将颠覆视频内容生成方式。Sora的出现，振奋科技圈的同时也衍生出了担忧的情绪。有专家称，这类技术可能会导致“深度伪造”视频增多，让人难以识别真伪。OpenAI自己也承认，无法预测人们使用Sora的所有有益方式，也无法预测人们滥用它的所有方式。3月15日，媒体报道多起利用AI配音、AI换脸骗局。业内表示AI还没有像科幻小说描绘得那样拥有自我意识，犯罪的渊薮依旧指向了操刀的人。

美国出现的“深度伪造”大致有三类：一是换脸，在美国以色情网站、成人电影等为主要应用者；二是对嘴型，即表情迁移，多应用于恶搞官员、影视明星为主的视频；三是动作迁移，将一个人的肢体动作移植到另一个人的身上，也可形象比喻为“主人与木偶”的关系。“比如将来抖音上的网红可能是假的，他所说的话，做的事全是被‘深度伪造’技术所操控。”

截至2019年9月，这一技术在中国尚没有被滥用，但在美国曾多次出现针对官员的伪造恶搞视频。

在教育上，虚拟教师让数字教学更具互动性和趣味性，合成的历史人物讲解视频让受众更有代入感；在娱乐上，深度伪造技术可以让电影、纪录片等艺术创作突破时空限制，以更真实的方式呈现，可以创造虚拟主播来播报新闻，更可以创造极具亲和力的虚拟偶像。此外还有在艺术、社交、虚拟现实、医疗等领域的应用。

1.威胁国家安全和公共安全。不法分子借助深度伪造技术，可能散布虚假视频，激化社会矛盾，煽动暴力和恐怖行动，也可能用于干扰竞争国家的情报机构，甚至因此设定限制其行动范围的条件。

2.给个人和企业带来损害。视频换脸技术门槛降低，普通人也能制作换脸视频，别有用心之人利用深度伪造技术可以轻易绑架或盗用他人身份，甚至可以说深度伪造技术有可能成为实施色情报复、商业诋毁、敲诈勒索、网络攻击和犯罪等非法行为的新工具。

3.引发社会忧虑和信任危机。专家认为，“深度伪造”会加深公众对政府的不信任感。随着公众意识到“深度伪造”的危害，他们会对一般的真实视频产生怀疑，更容易把真实视频当作虚假视频，迷失在真假信息之中，对官方澄清也会持有怀疑态度。

对于深度伪造的负面影响主要从两个方面采取防范措施：一是事前识别，将识别伪造音频和视频技术部署在传播渠道前端，禁止虚假内容发布，或至少提出警告。相关部门可尝试建立全网“数字水印或签名”系统，便于追溯查询；二是事后鉴伪，例如，鼓励企业加大对鉴伪技术研发的投人，抓紧开发能识别深度伪造内容的工具。

AI换脸难以肉眼区分，防范利用AI人工智能等新型手段的诈骗，牢记以下几点：

1.多重验证，确认身份，比如在涉及钱款时，尽量通过电话询问具体信息，确认对方是否为本人；

2.保护信息，避免诱惑。对于不明平台发来的广告、中奖、交友等链接提高警惕，不随意填写个人信息，以免被骗子“精准围猎”；

3.相互提示，共同预防做好宣传防范工作。尤其是提醒老年人在接到电话、短信时，要放下电话，再次拨打家人电话确认，不要贸然转账。

2023年4月，在拜登宣布有意再次竞选美国总统后，共和党全国委员会用基于人工智能生成的广告对拜登进行了攻击，使用人工智能生成了一系列虚假图像，虚构了拜登连任后美国经济崩溃、非法移民猖獗和犯罪浪潮迭起等情形。5月，一张五角大楼爆炸的人工智能伪造图片在网络上广泛传播。

2024年8月，韩国曝出“Deepfake”（深度伪造技术）事件，被认为是采用新犯罪手段的“N号房”案件重现。Deepfakes是使用人工智能生成的技术，将个人的声音、面部表情及身体动作拼接合成虚假内容。韩国网民在通讯软件“电报”（Telegram）上发现大量聊天群，其中有成员创建和分享露骨的性“深度伪造”图像，对象涉及未成年女孩。不断有受害学校及被害者信息流出。在社交网站流传的受deepfake事件影响的学校名单已经超过百所，并且还在增加。该名单由一名匿名用户发布，其中不仅包括韩国的中小学，还涉及海外的韩国国际学校。

2019年11月，中国国家互联网信息办公室、文化和旅游部、国家广播电视总局便联合印发《网络音视频信息服务管理规定》，并于2020年1月1日起施行。该规定对网络音视频服务的使用者和提供者均提出要求，即利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播非真实音视频信息的，应当以显著方式予以标识，不得利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播虚假新闻信息。

2020年12月，中共中央印发《法治社会建设实施纲要（2020-2025年）》，提出制定对网络直播、自媒体、知识社区问答等新媒体业态和算法推荐、深度伪造等新技术应用的规范管理办法。

2021年，中国国家网信办、国家发改委、教育部、科技部、工信部、公安部、市场监管总局、广电总局等有关主管部门已出台《互联网信息服务算法推荐管理规定》《互联网信息服务深度合成管理规定》和《生成式人工智能服务管理暂行办法》等法律法规，对计算机合成内容进行管控。《互联网信息服务算法推荐管理规定》要求对算法生成合成的信息做显著标识，并要求提供互联网新闻信息服务的算法推荐服务提供者和使用者，不得生成合成虚假新闻信息。《互联网信息服务深度合成管理规定》则更加细致地规定了包括智能对话、智能写作、人脸生成、人脸操控、姿态操控等具有生成或显著改变信息内容功能的深度合成服务应当遵守的要求，包括以显著标识的形式向公众提示。7月最新发布的《生成式人工智能服务管理暂行办法》进一步对生成式人工智能的开发与使用等进行规范，旨在促进生成式人工智能健康发展和规范应用。

2018年，美国众议员亚当·希夫（Adam Schiff）等人在致时任国家情报总监丹·科茨（Dan Coats）的信中，首次对深度伪造技术于美国公共舆论和国家安全造成的威胁提出警告。据央视报道，仅在2022年，美国就发生了240万起人工智能相关诈骗案。随着人工智能生成虚假信息的进一步蔓延传播并广泛用于实施欺骗行为，美国加强立法监管。2023年5月，在共和党全国委员会发布了生成式人工智能制作的政治广告后，美国众议员伊维特·克拉克（Yvette Clarke）提出了《真实的政治广告法案》（The REAL Political Ads Act），对竞选广告提出人工智能生成内容披露要求。6月，美国众议员里奇·托雷斯（Ritchie Torres）提出《人工智能披露法案》（The AI Disclosure Act），提议在任何人工智能生成的内容中添加披露声明。

2024年1月，据央视新闻，美国政府监管组织“捍卫公众利益组织”负责人罗伯特·韦斯曼批评称，政治“深度伪造”时刻已经到来，政策制定者必须尽快采取保护措施，否则将面临选举混乱。“深度伪造”会播下混乱的种子，使欺诈行为永久化。美国消费者技术协会首席执行官夏皮罗认为，“政府需要在人工智能领域扮演重要角色，确保设置安全屏障和护栏，让产业内人士知道，哪些能做，哪些不能做”。

对于深度伪造犯罪，韩国政界给出了明确表态。据《韩国日报》报道，韩国总统尹锡悦明确表示，深度伪造“不是玩笑，而是犯罪”。共同民主党党首李在明说，根除韩国深度伪造犯罪，需要在国会立法层面制定对策。

2024年9月，据韩联社等媒体月初报道，韩国警方正在对多个自动生成“电报”平台上深伪性剥削内容的程序进行立案侦查，并对制作和播出相关影像的群聊频道进行广泛调查。“深度伪造性犯罪”涉及韩国军队。“电报”平台上女军人的深伪性犯罪物共享对话群在事件发酵后就迅速下线，韩国警方未能发现相关线索。据《韩民族日报》报道，军队性暴力咨询所称，只要国防部“有斩草除根的意志”，就可以通过内部网络的登录记录追踪犯罪的规模和加害者的信息。

韩国国防部2024年9月9日称，该部已对通过内部网查看军方官员和士兵照片的权限作出限制，并启动有关教育计划，以防止类似犯罪案件再次发生。

当地时间2024年10月10日，韩国政府表决通过了《关于处罚性暴力犯罪的特例法》(简称《性暴力处罚法》修正案。根据修正案，持有、购入、保存或收看深度伪造淫秽影像的人员可被处三年以下有期徒刑或3000万韩元(约合人民币15.75万元)的罚金。

2024年10月16日，韩国警察厅表示，2024年1月1日至10月14日，共受理并调查了921起利用深度伪造技术实施的性犯罪案件，逮捕474名嫌疑人。

2024年10月30日，韩国首尔中央地方法院对利用“深度伪造”技术进行数码性犯罪的朴某和姜某以涉嫌违反《性暴力处罚法》《青少年性保护法》等为由分别判处有期徒刑10年和4年。他们同时被判处接受80小时的性暴力治疗项目，并在5年内公开、告知个人信息，同时限制他们在儿童、青少年、残疾人等相关机构就业。

2024年11月6日，为打击日益猖獗的“深度伪造”性犯罪事件，韩国政府推出首个泛政府应对方案，并计划推动修订相关立法。

2022年6月，欧盟更新《反虚假信息行为准则》（Code of Practice on Disinformation），要求社交媒体公司从其平台上删除深度伪造和其他虚假信息，否则将处以高达公司全球营收6%的罚款。欧盟《数字服务法》（The Digital Services Act，DSA）也要求平台展示举报和删除非法内容的机制。