2024“AI换脸”威胁研究与安全策略报告

目录一“AI换脸”基于“深度伪造”技术 31“深度伪造”的构成 3人脸识别和关键点检测 3图像视频合成技术 3生成对抗网络(GAN) 3增强效果技术 42、“深度伪造”的危害 4“换脸”视频和图像 4合成真人音频 5伪造文本信息 6二、常见的“深度伪造”欺诈类型 81、伪造账号造谣传谣 82、冒充熟人进行诈骗 83、伪造身份申请银行贷款 94、让“网络钓鱼”更加难以识别 95、冒充他人远程面试入职 96、冒名登录盗走银行余额 11三、“深度伪造”的产业链 121“深度伪造”欺诈的过程 122“深度伪造”欺诈上游：虚假图文与视频的制作 133“深度伪造”欺诈下游：多个平台多个方式实施诈骗 15四、识别检测“深度伪造”的音视频 171、人的行为与生物识别 172、设备与操作识别 173、技术识别与取证 184、社交防范与公众教育 19五、对抗“AI换脸”欺诈的安全策略 191、社交媒体场景下的安全策略 192、银行信贷场景下的安全策略 21六、国家监管与相关法律法规 221中国 222、美国 233、欧盟 234、澳大利亚 235、国际组织及会议 24七、哪些机构需要负起责任 241、社交媒体 242、金融机构 253、AI工具提供商 25八、关于情报作者 251、顶象业务安全情报简介 252、顶象简介 26AI换脸”基于“深度伪造”技术IDp1、“深度伪造”的构成人脸识别和关键点检测Eigenfaces、Fisherfaces、LocalBinaryPatterns(LBP，基于子空间的人脸识别的PrincipalComponentAnalysis(PCALinearDiscriminantAnalysisLDA)DeepFace、FaceNet、Dlib等；关键点检测算法包含基于形状的人脸关键点检测的ActiveShapeModelASM)、ConstrainedLocalModel(CLM，基于外观的人脸关键点检测的CascadedShapeRegression(CSR、DeepPose等。图像/视频合成技术图像/视频合成技术将不同的人脸、表情、动作等合成到目标图像或视频中，是“深度伪造”技术的核心，主要用于将不同的人脸、表情、动作等合成到目标图像或视频中。常用的图像/视频合成技术包括，含基于像素的图像/视频合成的PoissonBlending、SeamlessCloning，基于特征的图像/视频合成的FaceSwap、DeepFaceLab。生成对抗网络(GAN)(GAN)是一种深度学习技术，可以生成非常逼真的图像或视频。GAN由DCGAN、ProGAN、StyleGAN。增强效果技术WaveNet3DShapefromShadingructurefromMotion等。2、“深度伪造”的危害20241正成为一种新的威胁手段，AI2024年业务欺诈风险的五大趋势。图1-1：“AI换脸”技术上称为“深度伪造”“换脸”视频和图像202412亿港元。该员工收到一封伪装成公司总部CFO2亿港元至五个银行账户。图1-2：香港“AI换脸”案被骗2亿港元23年20万元赎金，还让针对留学生和家属的“虚拟绑架”诈骗。（900%bandeepfakes%lonuskCuberea）以及流行歌星泰勒·斯威夫特Swift）都因在诈骗视频中伪造身份而成为受害者。合成真人音频202311得郭先生信任后，诈骗分子佯装需要借用郭先生公司的账户走账，成功骗取了郭先生430万元。图-3（）301的2022年经历了“深度伪造”的语音欺诈。伪造文本信息为和事例屡见不鲜。不仅危害社会经济安全，更关乎企业个人声誉以及个人财产安全。图1-4：各种“深度伪造”的虚假信息肆虐二、常见的“深度伪造”欺诈类型1、伪造账号造谣传谣（如真实地址图2-1：账号背后的陌生人2、冒充熟人进行诈骗202412202311月内蒙古包头市警方通报的诈骗案件均属冒充熟人诈骗。（动信赖后，进而对受害人进行财务资金、商业机密等诈骗。3、伪造身份申请银行贷款85%。此外，英国GDG860万人使用虚假或他人的身份来获取商品、服务或信贷。她适合授信0万？还是20%4、让“网络钓鱼”更加难以识别（随着技术的发展，网络钓鱼者也在改变策略，尤其在AI的帮助下，诈骗分子使用“深度伪造”技术欺骗受害者，让钓鱼攻击更加复杂，攻击极难检测。2023年，深度伪造网络钓鱼欺诈事件激增了3,000%。5、冒充他人远程面试入职2022年7月，美国联邦调查局（FBI）发出警告称，越来越多的诈骗分子正在使用“深度伪造”技术在远程职位面试中冒充求职者，骗取企业薪资、盗取企业的商业机密。图2-2：冒充他人远程面试PII（个人身份信息IT数据库和/或专有信息”等敏感数据。联邦调查局还称，该骗局的一些受害者被盗的个人信息已被用于进行远程面试工作，并且还曾被用于与其他申请人的个人资料进行就业前背景调查。6、冒名登录盗走银行余额2024215Group-IBGoldPickaxe”的恶意iOS版本图2-3：最新发现的AI病毒“GoldPickaxe”三、“深度伪造”的产业链1、“深度伪造”欺诈的过程的环节中，受害人如果无法甄别和判断，很容易在诈骗分子的指示下一步步步入陷阱。第一阶段，骗取受害人信任。诈骗分子通过短信、社交工具、社交媒体、电话等方式，（同事App软件，可以呼叫转移或拦截银行的客服电话或电话。第三阶段，登录受害人银行账户。App登录受害人的银行账户，提第四阶段，转走受害人银行余额。将银行打来人工访问电话呼叫转移至诈骗分子预先图-“深度伪造”质量的提高，检测是一大难题。不仅肉眼无法有效识别，一些常规的检测工具也不能及时发现。追溯难。IP地址、虚假的设备信息，没有明需（行“深度伪造”欺诈的渠道和平台网络进行识别与检测（多方面提升数字账号的安全性。这不仅需要技术对策，更需要复杂的心理战和公众安全意识的提升。2、“深度伪造”欺诈上游：虚假图文与视频的制作调查发现，GitHub（软件项目托管平台，用于托管和管理开发项目的代码存储库、协作和版本控制的最大基于Web的平台）上，有超过3000个与“深度伪造”技术相关的的频道或群组2美元，而需求复杂的一个“深度伪造”视频要100美元起，易用性使得犯罪分子更容易进行“深度伪造”欺诈。图-随着网络犯罪即服务（Cybercrimeas-a-Service）的出现，由此导致普通人也可以轻松方便地购买到“深度伪造”的服务或技术。顶象防御云业务安全情报中心分析发现，创建一个“深度伪造”视频涉及如下过程。第一步，收集数据。收集目标任务的大量数据，包含多角度的人脸照片、工作信息、生活信息等，其中在公开的社交媒体采集到大量图片、信息和视频。图-3第六步，视频合成。3、“深度伪造”欺诈下游：多个平台多个方式实施诈骗2021年，国内首部业务安全图书《攻守道——企业数字业务安全风险与防范》认为，IP行诈骗时，会使用到如下技术工具。图3-4：诈骗分子利用各种技术手段IP。IP地址就是用户上网时的网络信息地址。该类工具是能够自动调用全球的动IPCookiesIP地址。模拟器。GPS定位就是用户使用网络服务时所处的地理位置信息，利用模拟软件、第三方工具，就可以改变所在位置的经纬度，可以实现任何地方的瞬间“穿越”。改机工具。设备的型号、串码、IMEI等具有唯一性，利用改机工具能够从系统层面劫1000个设备属性。2023315晚会”曝光的某公司云控系统就是该工具。四、识别检测“深度伪造”的音视频1、人的行为与生物识别在视频对话的时候，可以要求对方摁鼻子、摁脸观察其面部变化，如果是真人的在点对点的沟通中可以问一些只有对方才知道的问题，以验证对方的真实性。仔细聆听后会显得格外突出。同时，语音分析软件可以帮助识别语音异常。2、设备与操作识别数字签名和区块链账本具有唯一性，可以对行为来源跟踪，并对其进行标记以供审查。对设备信息、地理位置以及行为操作进行比对识别，能够发现并防范异常操作。IP地址、频繁更换设备属性等出现异常或不符合用户习惯的行为，帮助追踪和识别欺诈者的活动。此外，基于最小权限原则限制对敏感系统和账户的访问，确保访问其角色所需的资源，从而减少账户被盗用的潜在影响。图4-1：顶象全链路全景式人脸安全威胁感知方案AI顶象全链路全景式人脸安全威胁感知方案（如、屏幕共享等核验，发现伪造视频或异常人脸信息后，可自动阻断异常或欺诈操作。3、技术识别与取证基于深度学习的生成对抗网络（GAN）能够训练一种称之为“鉴别器”神经网络图4-2：用AI对抗“深度伪造”欺诈AI在涉及文件的情况下，自动文档验证系统可以分析文档是否存在不一致之处，例如字体更改或布局差异。4、社交防范与公众教育减少或者杜绝在社交媒体上分享账户、家庭家人、交通出行、工作岗位等敏感信持续对公众进行“深度伪造”技术及其相关风险的教育至关重要，鼓励公众保持警惕并快速报告异常情况，也可以显著提高组织检测和响应“深度伪造”威胁的能力。技术在不断发展，新的欺诈也在不断涌现。尽可能随时了解AI和“深度伪造”技术的最新发展，以相应地调整保障措施。对AI模型的持续研究、开发和更新对于在日益复杂的“深度伪造”技术中保持领先地位至关重要。五、对抗“AI换脸”欺诈的安全策略1、社交媒体场景下的安全策略社交媒体平台上的诈骗分子利用注册机进行大规模自动化账号注册。为了规避社交平台2～31000图5-1：社交媒体场景下的安全策略顶象防御云业务安全情报中心建首先精准识别欺诈账号，然后才能有效防范欺诈行为。针对欺诈账号注册过程的检测与识别，建议及时发现是否存在刷机改机、Root、越狱、hook指令以及模拟器特征等。IP行IP短时间大量聚集、同一渠道中老设备型号占比异常、同一渠道中老操作ID、手机号、设备等维度的黑名单。2、银行信贷场景下的安全策略图5-2：金融业务场景下的安全策略AI挖掘出潜在风险账户。其次，利用顶象防御云和顶象Dinsight风控引擎，构建机器学习和规则导向相结合的风Xintell智能模型平台对隐匿、复杂的欺诈行为进行挖掘。六、国家监管与相关法律法规“深度伪造”基于AI，而AI治理攸关全人类命运，是世界各国面临的共同课题。全球多个国家和组织纷纷出台倡议或规范，一致要求加强AI的安全监管。1、中国（1）2023713日，国家网信办联合国家有关部门公布《生成式人工智能服务管9月，最高人民法院最高人民检察院公安部印发《关于依法惩治网络8条明确规定，对“利用‘深度合成’等生成式人工智能技术发布违法信息”的情形予以从重处罚。（3）2023101831应个人单独同意或者符合法律、行政法规规定的其他情形。2、美国（1）20231030AI生成内容和认证官方内容的标准，从而保护美国用户免受人工智能欺诈和欺骗。28AI生成的声音为非AI生成的虚假和错误信息。3、欧盟（1）2023652（1）2024221日，欧盟人工智能办公室于成立，标志着在欧盟内促进负责任4、澳大利亚7（ASIC）LoweScamwatch报告的投资诈骗损失呈下降趋势。223年400人报告因在线交易平台诈骗损失超过800万澳元（约合520万美元。副主席卡特里奥娜（Catriona5、国际组织及会议（1）2023111日，首届全球人工智能（AI）安全峰会上，28国联署关于人工智潜在有害能力及其可能产生的影响，并提供透明度和问责制。（2）2023年10月30日，七国集团（G7）发布《开发先进人工智能系统组织的国际行1134年2月7IMLindIn、McAfee、Meta、Microsoft、OpenAI、Snap、X20家世界领先的科技公司宣布，七、哪些机构需要负起责任“深度造假”欺诈面向全球肆虐，哪些机构需要负相关责任呢？1、社交媒体（ACCC）FacebookACCC还认为，Facebook应该作为骗局的从犯承担责任——因为在收到问题通知后未能及时删除FacebookAIFacebook和17项政策。2、金融机构ACCC和其他机构已经提出了类似计划的提案，但现阶段还没有。3、AI工具提供商AIAI工具提供商企业确实有机会使用技术来减少“深度伪造”的可能性。与银行和社交媒体平台一样，AI工具提供商可能很快就会被要求这样做。例如，最近出台的《欧盟人工智能法案》要求AI工具的提供者有义务以允许检测合成/虚假内容的方式设计这些工具、增加数字水印、及时限制用于验证个人身份的数字身份证等。AI水印的工作原理是将独特的信号嵌入到人工智能模型的输出中，此信号可以是图像或文本，旨在将内容标识为AI生成的内容，以帮助他人识别有效识别。八、关于情报作者1、顶象业务安全情报简介30000+风险源，包含来自对黑灰产社区社群、暗网