周琳娜《AI 换脸与检测》课件

AI换脸的由来与案例一AI换脸的原理与技术二AI换脸如何检测三主要内容AI换脸的影响及各国治理四一AI换脸的由来与案例GenerationFace

swappingExpression

transferChangeof

attributesSegmentation

map-to-imageCompositionCopy-moveInpaintingImage-to-imageSketch-to-imageVideo-to-videoRemovalChangeof

StylePaintwith

features+redlimbs

=Text-to-imageText-to

videoDeepfake=Deeplearning+

FakeDeep

learningGoogle

Brain研究员Ian

Goodfellow在2014年发明深度学习技术，原意是利用算法从现有数据中产生更多新数据。DeepVideo

Portraits深度视频肖像（小屏出）日本综艺用3D投影技术复活邓丽君韩国妈妈用科技与去世女儿重逢人脸交换表情迁移背景迁移姿势转换面部合成（小屏出）人脸交换人脸操控二AI换脸的原理与技术脸部替换用某人脸部的影像，替换掉另一个目标人物的脸，目标人物的脸被覆盖了，重点在换上去的脸。脸部再制可修改目标人物的脸部表情，例如移动他们的嘴巴、眉毛和眼睛，目的并不是取代他们的脸部特征，而是更改他们的面部细节，使照片传达的讯息不同。人脸生成创造一个全新的脸，利用新兴的GAN（生成对抗网络）深度学习技术，使用两个神经网络互相对抗，其中一个生成影像，另一个负责判断生成的影像是否够好。声音合成Deepfake中一种相对新的分支，声音合成可以创造一个人声音的模型，使用那个人的说话方式和语调念出文字。而有的声音合成产品，例如Modulate.ai，则是能让使用者挑选声音的年纪和性别，并不是模仿某个特定的目标。生成对抗网络一个网络用于生成数据，叫作“生成器”（Generator）。另一个网络叫作“判别器”（Discriminator），任务是判断数据是真实的还是“生成器”生成的。“生成器”与“判别器”相互对抗，“生成器”努力骗过“判别器”。FaceSwap换脸流程FaceSwap换脸流程Snapchat和FaceApp这两款软件被称为面部合成，通过特征点选取，任意合成生成不存在的人脸，主要技术包括人脸对齐、关键点检测、无缝缝合，相当于电子带了一个人皮面具。Faceswap又称人脸交换，面部合成合成一个不存在的人脸，而人脸交换就可以把任意人脸交换到想换到的人脸上。Face2Face就是人脸操控，这项技术将目标延申到了视频范围，只需一张照片就可以驱动一个视频。相比于Face2Face主要操控面部表情，HeadOn主要操控头部姿态。三AI换脸如何检测（一）Deepfake检测技术瞳孔颜色不一致瞳孔中心反射细节失真基于纹理特征的检测牙齿边缘过于平整鼻子阴影伪影Deepfake视频会出现眨眼、心率等特征异常。健康的成年人眨眼间隔一般为2—10秒，每次眨眼用时0.1—0.4秒。基于观察发现，在伪造视频中的人物很少或几乎不眨眼。基于生物特征的检测基于动态特征的检测基于固有特征的检测基于混合伪影的检测Deepfake视频会造成一定的视频抖动，导致视频出现帧间不一致情况。基于帧间不一致性的检测人类倾向于通过整个面部分辨是否是伪造人脸。将对模型检测结果影响最大的区域定义为敏感区域，对敏感区域进行“遮挡”再训练，可获得性能更强的深伪换脸检测模型。基于敏感区域模型的检测从海量数据集中学习Deepfake生成图像的复杂特征。基于数据驱动的检测基于特定目标人物的检测（二）深伪取证技术：以AI对AI图像像素层统计取证（小屏出）三维场景层建模取证（小屏出）语义层多线索关联取证（小屏出）四AI换脸的影响及各国治理（一）国内治理网络音视频信息服务提供者和网络音视频信息服务使用者不得利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播虚假新闻信息。——《网络音视频信息服务管理规定》国家互联网信息办公室、公安部加强对语音社交软件和涉深度伪造技术的互联网新技术新应用安全评估，依法约谈映客、小米、快手、字节跳动、鲸准数服、云账户、喜马拉雅、阿里巴巴、网易云音乐、腾讯、去演等11家企业，督促其按照《网络安全法》《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》等法律法规及政策要求，认真开展安全评估，完善风险防控机制和措施，并对安全评估中发现的安全隐患及时采取有效整改措施，切实履行企业信息内容安全主体责任。（一）国际治理2021年发布的AIinSecurity重点强调了Deepfake的威胁。2019年9月，FaceBook、微软、麻省理工大学等联合启动Deepfake视频检测挑战赛。2019年11月，Twitter发布首个反Deepfake策略草案：如果一份Deepfake伪造的内容威胁到某人的人身安全或可能造成严重伤害，将会被删除。2018年，欧盟委员会发布了《反对虚假信息行为准则》，旨在进一步加强互联网企业对平台内容的自我审查，从源头打击网络谣言。2018年1月1日起，德国施行《社交媒