“AI换脸”威胁研究与安全策略 202403

2024.03ar@dgic.顶象防御云《“AI换脸”威胁研究及安全策略》一、“AI换脸”基于“深度伪造”技术 31、“深度伪造”的构成 3（1）人脸识别和关键点检测 3（2）图像/视频合成技术 3（3）生成对抗网络(GAN) 3（4）增强效果技术 42、“深度伪造”的危害 4（1）“换脸”视频和图像 4（2）合成真人音频 5（3）伪造文本信息 6二、常见的“深度伪造”欺诈类型 81、伪造账号造谣传谣 82、冒充熟人进行诈骗 83、伪造身份申请银行贷款 94、让“网络钓鱼”更加难以识别 95、冒充他人远程面试入职 96、冒名登录盗走银行余额 三、“深度伪造”的产业链 1、“深度伪造”欺诈的过程 2、“深度伪造”欺诈上游：虚假图文与视频的制作 133、“深度伪造”欺诈下游：多个平台多个方式实施诈骗 15四、识别检测“深度伪造”的音视频 1、人的行为与生物识别 2、设备与操作识别 3、技术识别与取证 4、社交防范与公众教育 五、对抗“AI换脸”欺诈的安全策略 1、社交媒体场景下的安全策略 2、银行信贷场景下的安全策略 六、国家监管与相关法律法规 222、美国 233、欧盟 234、澳大利亚 235、国际组织及会议 七、哪些机构需要负起责任 1、社交媒体 242、金融机构 253、AI工具提供商 25八、关于情报作者 1、顶象业务安全情报简介 2、顶象简介 262marketing@顶象防御云《“AI换脸”威胁研究及安全策略》AI换脸，也称为“深度伪造”（Deepfake是一种利用人工智能技术将人脸替换到另一个人的脸部上的技术。“深度伪造”技术涉及多种技术和算法，这些技术和算法相互配合，可以生成非常逼真的图像或视频。将“深度伪造”的虚假内容与真实信息的元素拼凑在一起，就可以用于可以伪造身份、传播错误信息、制作虚假数字内容，进行各类欺诈。（1）人脸识别和关键点检测人脸识别和关键点检测用于识别和定位人脸，是“深度伪造”技术的基础，主要用于识别图像或视频中的人脸，并定位人脸的关键点，例如眼睛、鼻子、嘴巴等。这些信息可以用于将人脸从图像或视频中提取出来，并将其与其他图像或视频进行合成。其中，人脸识别算法包含基于特征的人脸识别的Eigenfaces、Fisherfaces、LocalBinaryPatterns(LBP)，基于子空间的人脸识别的PrincipalComponentAnalysis(PCA)、LinearDiscriminantAnalysis(LDA)，以及基于深度学习的人脸识别的DeepFace、FaceNet、Dlib等；关键点检测算法包含基于形状的人脸关键点检测的ActiveShapeModel(ASM)、ConstrainedLocalModel(CLM)，基于外观的人脸关键点检测的CascadedShapeRegression(CSR)、DeepPose等。（2）图像/视频合成技术图像/视频合成技术将不同的人脸、表情、动作等合成到目标图像或视频中，是“深度伪造”技术的核心，主要用于将不同的人脸、表情、动作等合成到目标图像或视频中。常用的图像/视频合成技术包括，含基于像素的图像/视频合成的PoissonBlending、SeamlessCloning，基于特征的图像/视频合成的FaceSwap、DeepFaceLab。（3）生成对抗网络(GAN)生成对抗网络(GAN)是一种深度学习技术，可以生成非常逼真的图像或视频。GAN由两个神经网络组成：生成器和判别器，其中生成器的目标是生成高度逼真的虚假图像、视频与声音，是“深度伪造”技术的重要工具，其包含DCGAN、ProGAN、StyleGAN。3marketing@2024年1月，顶象防御云业务安全情报中心曾发文警示，AI正2024年1月，顶象防御云业务安全情报中心曾发文警示，AI正成为一种新的威胁手段，利用AI技术的攻击者将给企业和个人用户带来前所未有的风险，并列举了2024年业务欺诈风险的五大趋势。（4）增强效果技术可以增强“深度伪造”效果的技术，包含用于合成伪造的WaveNet、Tacotron，用于创建逼真的3D模型ShapefromShading和ructurefromMotion等。2、“深度伪造”的危害图1-1：“AI换脸”技术上称为“深度伪造”2024年1月，香港一家跨国公司员工被骗2亿港元。该员工收到一封伪装成公司总部 CFO的电子邮件后，被邀请参加视频会议。会议中，除了该员工外，其他人均为“深度伪造”技术制作的虚假影像。诈骗分子指示该员工，在一周内陆续转账2亿港元至五个银行账户。4marketing@顶象防御云《“AI换脸”威胁研究及安全策略》图1-2：香港“AI换脸”案被骗2亿港元2023年12月，一名留学生在境外被“绑架”，父母遭“绑匪”索要500万元赎金，还收到了“肉票”被控制、伤害的视频。通过现场调查及国际警务合作，5个小时后，涉事留学生小贾被成功解救——不是从绑匪手中，而是在学校所在国的出入境口岸。真相也随之揭开：让小贾和父母经历惊心时刻的“绑架案”，其实是诈骗分子精心布设的骗局，是一起典型的针对留学生和家属的“虚拟绑架”诈骗。诈骗分子伪造视频和图像，将陌生人的照片替换为同事的脸，然后借助远程视频通话吸引和说服受害者共享机密信息（例如凭据并操纵受害人进行未经授权的金融交易。的一项数据显示，“深度伪造”色情内容就占所有在线“深度伪造”视频的98%，几乎都是以及流行歌星泰勒·斯威夫特（TaylorSwift）都因在诈骗视频中伪造身份而成为受害者。（2）合成真人音频2023年11月，内蒙古包头市警方通报了一起诈骗案件。诈骗分子通过“深度伪造”技术伪装成福州市某科技公司法人代表郭先生的好友，然后通过微信视频与郭先生联系，在取得郭先生信任后，诈骗分子佯装需要借用郭先生公司的账户走账，成功骗取了郭先生430万元。骗子对受害人进行了长时间的观察和资料收集，对受害人的家庭、工作、社会关系、行踪、轨迹、习惯、作息等有了比较清晰地了解，然后利用伪造的视频、声音实施了定向的诈骗。5marketing@图1-3：“深度伪造”技术能够克隆任何人的声音用“深度伪造”克隆任何人的声音非常容易。诈骗分子通过公开渠道（例如，社交媒体上的视频片段，新闻媒体的采访报道、公开活动上的演讲谈话等）提取语音样本，仅需30秒到1分钟的样本，就能制作出高度逼真的声音克隆，然后可用于留下语音邮件或让人们参与实时对话，进一步模糊了现实与欺骗之间的界限。“深度伪造”的虚假音频对基于语音的身份验证系统构成了越来越大的威胁。拥有广泛可用语音样本的个人，例如名人和政治家，特别容易受到这种策略的影响。据调查，37%的组织在2022年经历了“深度伪造”的语音欺诈。（3）伪造文本信息基于“深度伪造”制作假新闻、假消息、假账号等，进行诈骗、勒索、诬陷、诽谤等违法行为和事例屡见不鲜。不仅危害社会经济安全，更关乎企业个人声誉以及个人财产安全。6marketing@图1-4：各种“深度伪造”的虚假信息肆虐例如，企业每年已经因电子邮件钓鱼欺诈损失数十亿美元，“深度伪造”让电子邮件网络钓鱼攻击更加危险，因为诈骗分子可以使用他们的身份看起来更可信。能够更容易创建虚假的企业高管个人资料，并利用它们来引诱员工。钓鱼邮件还会冒充重要客户公司的员工，并经常使用“请求”“付款”和“紧急”等短语来诱使收件人点击。文本信息的“深度伪造”是指看似由真人创作的书面内容。尤其社交媒体的普及，是文本深度伪造被广泛应用的主要因素，其中帖子可以用作社交媒体操纵活动或机器人生成的响应的一部分。他们的目的通常是大规模传播假新闻和虚假信息，造成一种欺骗性的看法，即各种媒体平台上的许多人都有相同的信念。7marketing@顶象防御云《“AI换脸”威胁研究及安全策略》二、常见的“深度伪造”欺诈类型1、伪造账号造谣传谣利用“深度伪造”技术，诈骗分子能够创建和分发高度定制和令人信服的内容，这些内容可以根据个人的在线行为、偏好和社交网络来定位个人，并可以无缝地融入用户的提要中，从而促进快速和广泛的传播。这使得网络犯罪对用户和平台来说更加高效和具有挑战性。识别“深度伪造”的虚假账号是一项极具挑战性的任务，因为这些账号通常涉及真实元素（如真实地址）和捏造信息的组合。这使得检测和预防变得极其困难。使用合法组件和虚假详细信息进一步复杂化了检测工作。此外，由于这些欺诈性身份缺乏先前的信用记录或相关可疑活动，因此很难通过传统的欺诈检测系统来识别它们。图2-1：账号背后的陌生人2、冒充熟人进行诈骗2024年1月，香港跨国公司员工被骗2亿港元，以及2023年11月内蒙古包头市警方通报的诈骗案件均属冒充熟人诈骗。“深度伪造”技术让诈骗分子能轻易模仿目标人的视频、声音等。这些虚假的视频音频不仅模仿声音，还能模仿语调、口音和说话风格。为了进一步增加诈骗的可信度，诈骗分子还会在社交媒体、公开渠道等上获取的被模仿者的敏感信息（如工作风格、生活习惯、旅游动态等用于佐证自己的冒名顶替身份的真实性，使受害者难以分辨真伪。在取得受害人信赖后，进而对受害人进行财务资金、商业机密等诈骗。8marketing@顶象防御云《“AI换脸”威胁研究及安全策略》3、伪造身份申请银行贷款根据麦肯锡研究所的数据，合成身份欺诈已成为美国增长最快的金融犯罪类型，并且在全球范围内呈上升趋势。事实上，合成身份欺诈占目前所有欺诈行为的85%。此外，英国GDG的研究表明，英国有超过860万人使用虚假或他人的身份来获取商品、服务或信贷。对于金融机构来说，“深度伪造”欺诈更令人担忧。诈骗分子利用“深度伪造”技术，伪造信息、声音、视频、图片，然后将真实和虚假的身份信息结合起来，创建全新的虚假身份，用于开设银行账户或进行欺诈性的购买。而且，诈骗分子可以使用“深度伪造”技术来学习不同的银行业务和流程，然后迅速对不同银行同时展开欺诈。还需要辨别“这个贷款申请人是人类？还是人工智能？”，预计92%银行将遭遇“深度伪造”的欺诈威胁。4、让“网络钓鱼”更加难以识别网络钓鱼一直是安全领域的一个突出话题，尽管这类诈骗形式已经存在了几十年，依旧是欺诈攻击或渗透组织的最有效方法之一。诈骗分子基于社会工程原理，通过邮件、网站以及电话、短信和社交媒体，利用人性（如冲动、不满、好奇心）的手段，冒充受信任的实体，诱使受害者点击虚假链接、下载恶意软件、诱导转移资金、提供账号密码等敏感数据行为。随着技术的发展，网络钓鱼者也在改变策略，尤其在AI的帮助下，诈骗分子使用“深度伪造”技术欺骗受害者，让钓鱼攻击更加复杂，攻击极难检测。2023年，深度伪造网络钓鱼欺诈事件激增了3,000%。5、冒充他人远程面试入职2022年7月，美国联邦调查局（FBI）发出警告称，越来越多的诈骗分子正在使用“深度伪造”技术在远程职位面试中冒充求职者，骗取企业薪资、盗取企业的商业机密。9marketing@顶象防御云《“AI换脸”威胁研究及安全策略》图2-2：冒充他人远程面试marketing@2024年2月15日，国外安全公司2024年2月15日，国外安全公司Group-IB宣布，发现一个名为“GoldPickaxe”的恶意软件。该恶意软件的iOS版本，诱骗用户进行人脸识别、提交身份证件，然后基于用户的人脸信息进行深度伪造。诈骗分子利用“深度伪造”制作出虚假的面试人，在摄像头，人的动作和嘴唇动作与说话者的音频基本一致。甚至，咳嗽、打喷嚏或其他听觉动作等动作与视觉呈现的内容一致。联邦调查局在公告中没有说明骗子的最终目标。但该机构指出，这些虚假的面试人，一旦面试成功且入职，将被允许成功访问“客户PII（个人身份信息）、财务数据、公司IT数据库和/或专有信息”等敏感数据。联邦调查局还称，该骗局的一些受害者被盗的个人信息已被用于进行远程面试工作，并且还曾被用于与其他申请人的个人资料进行就业前背景调查。6、冒名登录盗走银行余额图2-3：最新发现的AI病毒“GoldPickaxe”通过深度伪造的虚假的人脸视频，欺诈分子就可以登录用户的银行账号，拦截银行发送的手机验证短信，就能够进行转账、消费、修改账号密码等。marketing@顶象防御云《“AI换脸”威胁研究及安全策略》三、“深度伪造”的产业链以顶象防御云业务安全情报中心拦截的某个“深度伪造”金融诈骗案件为例，诈骗分子的诈骗过程主要有四个阶段，“深度伪造”技术只是诈骗过程中的一个关键因素环节，其他环节中，受害人如果无法甄别和判断，很容易在诈骗分子的指示下一步步步入陷阱。第一阶段，骗取受害人信任。诈骗分子通过短信、社交工具、社交媒体、电话等方式，联系到受害者（例如，能够直接讲出受害人的姓名、家庭、电话、单位、住址、身份证号码、同事或伙伴，甚至部分经历并获取信任。第二阶段，盗录受害人脸。诈骗分子通过社交工具、视频会议、视频电话等方式，与受害者进行视频通话，在视频通话过程中获取受害人的人脸信息（人脸、低头、扭头、张嘴、眨眼等等关键信息）进行“深度伪造”虚假视频和人像的制作。期间，还会诱导受害者设置电话呼叫转移或诱导受害人下载恶意App软件，可以呼叫转移或拦截银行的客服电话或电话。第三阶段，登录受害人银行账户。诈骗分子通过银行App登录受害人的银行账户，提交“深度伪造”制作的虚假视频和虚假人像后，通过银行的人脸识别认证，并拦截受害人手机上，银行发送的手机短信验证码和风险提示等。第四阶段，转走受害人银行余额。将银行打来人工访问电话呼叫转移至诈骗分子预先设置的虚拟号码，冒充受害者，通过银行客服人员的人工核实，最后顺利转走受害人银行卡内的余额。marketing@顶象防御云《“AI换脸”威胁研究及安全策略》图3-1：“深度伪造”欺诈最终目的是牟利“深度伪造”的危险不仅在于生成虚假视频和图片，还在于其所促成的整个诈骗生态系统：一个由机器人、虚假账户和匿名服务组成的错综复杂的网络运作，所有这些都旨在制作、放大和分发捏造的信息和内容，具有识别难、检测难和追溯难的问题。识别难。已经发展到可以令人信服地生成逼真的个人模拟的地步，这使得区分真假内容变得越来越困难，除非接受过专门培训，否则很难被人识别出来，意识到这种威胁是防御它的第一步。检测难。“深度伪造”质量的提高，检测是一大难题。不仅肉眼无法有效识别，一些常规的检测工具也不能及时发现。追溯难。没有数字指纹、模拟器伪造的地址、虚假IP地址、虚假的设备信息，没有明确的数字线索可循，甚至没有直接的恶意软件签名可以检测，传统的网络安全措施无法有效防护。这是数字时代的一种威胁形式，在这个欺诈体系中，攻击者看不见且难以捉摸，他们不仅制作信息，还操纵每个参与者感知的现实结构。所以，要打击“深度伪造”欺诈，一方面需要识别检测伪造的视频、图片和信息（有效甄别出虚假伪造的内容另一方面需要对实行“深度伪造”欺诈的渠道和平台网络进行识别与检测（多方面提升数字账号的安全性）。这不仅需要技术对策，更需要复杂的心理战和公众安全意识的提升。调查发现，GitHub（软件项目托管平台，用于托管和管理开发项目的代码存储库、协作和版本控制的最大基于Web的平台）上，有超过3000个与“深度伪造”技术相关的存储库，表明其广泛的开发和分发潜力。在国外某个暗网工具上，拥有近千个提供“深度伪造”的频道或群组。从虚假视频自助制作到个性化定制，应有尽有。这些“深度伪造”服务的定价各不相同，价格最低的“深度伪造”视频只需要2美元，而需求复杂的一个“深度伪造”视频要100美元起，易用性使得犯罪分子更容易进行“深度伪造”欺诈。marketing@顶象防御云《“AI换脸”威胁研究及安全策略》随着网络犯罪即服务（Cybercrimeas-a-Service）的出现，由此导致普通人也可以轻松方便地购买到“深度伪造”的服务或技术。顶象防御云业务安全情报中心分析发现，创建一个“深度伪造”视频涉及如下过程。第一步，收集数据。收集目标任务的大量数据，包含多角度的人脸照片、工作信息、生活信息等，其中在公开的社交媒体采集到大量图片、信息和视频。第二步，特征提取。利用深度学习算法，精准地识别并提取出如眼睛、鼻子、嘴巴等关键面部特征。marketing@顶象防御云《“AI换脸”威胁研究及安全策略》第三步，人像合成。将目人脸覆盖、融合到需要伪造视频中的任务的脸上，对齐面部特征，以确保它们在源和目标之间匹配、替换。第四步，声音处理。用机器学习和人工智能以惊人的准确性复制一个人的声音，例如音高、语气和说话风格，并将视频中的嘴唇动作与合成语音相匹配。第五步，环境渲染。使用照明和颜色工具，进一步完善视频中人物、语音、动作与环境、服饰的协调匹配。第六步，视频合成。3、“深度伪造”欺诈下游：多个平台多个方式实施诈骗2021年，国内首部业务安全图书《攻守道——企业数字业务安全风险与防范》认为，网络欺诈团伙已经形成一个以非法营利为目的规模化、组织化、分工明确的群体组织，并自发形成上、中、下的生态链条。在这个黑灰产链条中，有群体专门制作工具、有群主提供各类敏感信息、有群体利用工具和信息进行各类诈骗等。黑灰产群体既有不良用户，又有专业诈骗分子，专业工具不断更新，新手段层出不穷，对抗防御难度大。基于“深度伪造”伪造的音视频和图文信息，诈骗分子利用借助模拟器、改机软件、IP秒拨、注册机、群控等工具，就能够绕过银行、社交媒体、远程视频会议等平台的安全检测，通过远程会议、工作网络、社交平台等不同渠道进行各类诈骗行动。marketing@社交媒体平台已成为“深度伪造”内容的主要散发渠道，金融、政务与企业更是诈骗分子实施诈骗的重要目标。顶象防御云业务安全情报中心分析，诈骗分子利用“深度伪造”内容进行诈骗时，会使用到如下技术工具。图3-4：诈骗分子利用各种技术手段秒拨IP。IP地址就是用户上网时的网络信息地址。该类工具是能够自动调用全球的动态IP地址，并可以自动切换、断线重拨、自动清理浏览器的Cookies缓存、虚拟网卡信息等功能，能够快速无缝切换不同区域的IP地址。模拟器。GPS定位就是用户使用网络服务时所处的地理位置信息，利用模拟软件、第三方工具，就可以改变所在位置的经纬度，可以实现任何地方的瞬间“穿越”。改机工具。设备的型号、串码、IMEI等具有唯一性，利用改机工具能够从系统层面劫持设备接口，当应用调用这些接口来获取设备的各项参数时，获取到的都是改机工具伪造出来设备的属性信息。一般来说，2～3分钟改机工具就能完成1000个设备属性。注册机。注册是创建一个账号的关键流程。利用注册机能够进行批量自动化账号注册，从而注册几百乃至几万个账号。群控。可以实现一台电脑控制上几十、几百部乃至几千台设备，进行统一的注册、登录、申请。群控还提供模拟定位、摇一摇、批量导入通讯录等功能，还可以进行消息推送。2023年“央视315晚会”曝光的某公司云控系统就是该工具。marketing@顶象防御云《“AI换脸”威胁研究及安全策略》企业和个人需要通过多种渠道验证身份，采用多重策略来识别与防御“深度伪造”欺诈。当每一个人都有可能成为攻击对象，当我们在享受科技带来的便利的同时，也要同意增强自身防护意识及能力。最佳预防措施往往不是什么科技方案或软件，而是人的因素。因此，技术+人双重措施才能有效防御。1、人的行为与生物识别（1）在视频对话的时候，可以要求对方摁鼻子、摁脸观察其面部变化，如果是真人的鼻子，按下去是会变形的。也可以要求对方吃食物、喝水，观察脸部变化。或者，要求做一些奇怪的动作或表情，比如，要求对方挥手、做某个难做的手势等，以辨别真假。在挥手的过程中，会造成面部的数据的干扰，会产生一定的抖动或者是一些闪烁，或者是一些异常的情况。在一对一的沟通中可以问一些只有对方知道的问题，验证对方的真实性。同时，当有人在视频或录音中提出汇款要求时，必须致电或从其他渠道一再核实。（2）在点对点的沟通中可以问一些只有对方才知道的问题，以验证对方的真实性。（3）“深度伪造”可以复制声音，但也可能包含不自然的语调、节奏或微妙的失真，仔细聆听后会显得格外突出。同时，语音分析软件可以帮助识别语音异常。2、设备与操作识别（1）数字签名和区块链账本具有唯一性，可以对行为来源跟踪，并对其进行标记以供（2）对设备信息、地理位置以及行为操作进行比对识别，能够发现并防范异常操作。顶象设备指纹通过对设备指纹的记录和比对，可以辨别合法用户和潜在的欺诈行为。其对每个设备进行唯一标识和识别的技术，识别出虚拟机、代理服务器、模拟器等被恶意操控的设备，分析设备是否存在多账号登录、是否频繁更换IP地址、频繁更换设备属性等出现异常或不符合用户习惯的行为，帮助追踪和识别欺诈者的活动。（3）账号异地登录、更换设备、更换手机号、休眠账户突然活跃等等，需要加强频繁验证；此外，会话期间的持续身份验证至关重要，保持持久性检查以确保用户的身份在使用期间保持一致。顶象无感验证可以快速准确地区分操作者是人还是机器，精准识别欺诈行为，实时监控并拦截异常行为。（4）此外，基于最小权限原则限制对敏感系统和账户的访问，确保访问其角色所需的资源，从而减少账户被盗用的潜在影响。marketing@顶象防御云《“AI换脸”威胁研究及安全策略》图4-1：顶象全链路全景式人脸安全威胁感知方案（5）基于AI技术与人工审核人脸反欺诈系统，防范“深度伪造”的虚假视频和虚假图片。顶象全链路全景式人脸安全威胁感知方案，能够有效检测识别“深度伪造”的虚假视频和虚假图片。它针对人脸识别场景及关键操作的实时风险监测（如摄像头遭劫持、设备伪造、屏幕共享等然后通过人脸环境监测、活体识别、图像鉴伪、智能核实等多维度信息进行核验，发现伪造视频或异常人脸信息后，可自动阻断异常或欺诈操作。3、技术识别与取证（1）基于深度学习的生成对抗网络（GAN）能够训练一种称之为“鉴别器”神经网络模型。通过训练，“鉴别器”可以更准确地识别虚假图像的目标是区分真实与虚假的图像视频，识别真实版本和创建版本之间的任何差异。大数据模型可以快速分析大量视频和音频数据，以超出人类能力的速度识别异常。并且，机器学习模型可以识别“深度伪造”生产算法的特征模式，从而识别“深度伪造”的内容。而且机器学习模型可以重新训练和调整，保持实时的迭代进化。marketing@顶象防御云《“AI换脸”威胁研究及安全策略》图4-2：用AI对抗“深度伪造”欺诈（2）AI取证工具在调查和归因“深度伪造”内容方面发挥着至关重要的作用，这些工具分析数字足迹、元数据和创建过程中留下的其他痕迹，帮助识别攻击者的来源并协助法律调查。（3）在涉及文件的情况下，自动文档验证系统可以分析文档是否存在不一致之处，例如字体更改或布局差异。4、社交防范与公众教育（1）减少或者杜绝在社交媒体上分享账户、家庭家人、交通出行、工作岗位等敏感信息，防范欺诈分子盗用下载后进行图片和声音的“深度伪造”。（2）持续对公众进行“深度伪造”技术及其相关风险的教育至关重要，鼓励公众保持警惕并快速报告异常情况，也可以显著提高组织检测和响应“深度伪造”威胁的能力。技术在不断发展，新的欺诈也在不断涌现。尽可能随时了解AI和“深度伪造”技术的最新发展，以相应地调整保障措施。对AI模型的持续研究、开发和更新对于在日益复杂的“深度伪造”技术中保持领先地位至关重要。五、对抗“AI换脸”欺诈的安全策略1、社交媒体场景下的安全策略社交媒体平台上的诈骗分子利用注册机进行大规模自动化账号注册。为了规避社交平台marketing@顶象防御云《“AI换脸”威胁研究及安全策略》的风控防护，他们还使用改机工具来伪造设备属性信息，以绕过平台的安全措施。令人震惊的是，仅需2～3分钟的改机工具就能完成1000个设备属性的伪造，这使得欺诈分子能够快速、高效地创建大量虚假账号。图5-1：社交媒体场景下的安全策略针对社交媒体平台上“深度伪造针对社交媒体平台上“深度伪造”欺诈信息肆虐问题，顶象防御云业务安全情报中心建议，首先精准识别欺诈账号，然后才能有效防范欺诈行为。针对欺诈账号注册过程的检测与识别，建议及时发现是否存在刷机改机、Root、越狱、劫持注册、风险注入、hook、模拟器等风险。通过与真机进行比较，可以有效分辨模拟器作弊行为，例如运营商信息、系统信息、硬件信息、用户行为、CPU指令以及模拟器特征等。针对欺诈账号使用设备检测与识别，建议快速识别同设备多次激活、同设备关联IP行为异常，以及同IP短时间大量聚集、同一渠道中老设备型号占比异常、同一渠道中老操作系统占比异常等维度。同时，建议建立本地名单动态运营维护机制，通过注册数据、登录数据、激活数据等，沉淀并维护对应黑白名单数据，包括用户ID、手机号、设备等维度的黑名单。marketing@针对欺诈账号异常行为的监测与发现，建议基于用户行为进行策略布控。通过风控数据和业务的沉淀数据，对注册、登录、浏览、发布行为进行建模，以便及时识别出异常操作。这些模型的输出可以直接在风控策略中使用，提升社交媒体平台的安全性。2、银行信贷场景下的安全策略骗贷、盗刷、保险诈骗等对银行造成损失。尤其是利用“深度伪造”技术制作的虚假音视频，盗用他人账号，转走银行余额，给客户带来重大经济损失。图5-2：金融业务场景下的安全策略顶象防御云业务安全情报中心建议，除了加强客户身份验证和授权管理外，还需要实时监测异常操作行为，并通过AI挖掘出潜在风险账户。首先，通过采用多因素身份验证、先进的身份验证技术等措施，提高账户的安全性，增加身份验证的可靠性，防止账户被诈骗盗用。定期更新客户信息，确保信息的准确性，并建立完整的客户档案，确保只有合法客户能够访问和使用账户。其次，利用顶象防御云和顶象Dinsight风控引擎，构建机器学习和规则导向相结合的风marketing@顶象防御云《“AI换脸”威胁研究及安全策略》控体系。通过大数据匹配和追踪，进行多维度和深层次的分析，能够准确识别异常操作并进行用户深度画像，及时发现可疑操作，评估风险，并跟踪并阻止各种异常行为。此外，挖掘隐匿的风险账户。为了规避金融机构的审核和反欺诈机制，诈骗分子会利用各种技术手段，由此增加异常行为的识别难度，可以使用顶象Xintell智能模型平台对隐匿、复杂的欺诈行为进行挖掘。六、国家监管与相关法律法规“深度伪造”基于AI，而AI治理攸关全人类命运，是世界各国面临的共同课题。全球多个国家和组织纷纷出台倡议或规范，一致要求加强AI的安全监管。通过对“深度伪造”创建或传播深度伪造的个人施加法律后果，可以阻止有害内容的扩散，并让肇事者对其行为负责。对“深度伪造”欺诈定性刑事犯罪也可以起到威慑作用，防止将这项技术滥用于欺诈或其他恶意目的，是减轻“深度伪造”技术有害影响的一种有效方法。所以，各国需要应对这一紧迫挑战需要实施强有力的法律措施。例如，必须对那些故意制造或促进有害深度伪造传播的人处以刑事处罚。（1）2023年7月13日，国家网信办联合国家有关部门公布《生成式人工智能服务管理暂行办法》。要求有舆论属性或者社会动员能力的生成式人工智能服务的，应当按照国家有关规定开展安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。（2）2023年9月，最高人民法院最高人民检察院公安部印发《关于依法惩治网络暴力违法犯罪的指导意见》，第8条明确规定，对“利用‘深度合成’等生成式人工智能技术发布违法信息”的情形予以从重处罚。（3）2023年10月18日，中央网信办发布《全球人工智能治理倡议》，具体措施包括推动建立风险等级测试评估体系，实施敏捷治理，分类分级管理，快速有效响应。研发主体需要提高人工智能可解释性和可预测性，提升数据真实性和准确性，确保人工智能始终处于人类控制之下，打造可审核、可监督、可追溯、可信赖的人工智能技术。同时，积极发展用于人工智能治理的相关技术开发与应用，支持利用人工智能技术防范风险，提升治理能力。此外，倡议还强调逐步建立健全法律和规章制度，保障人工智能研发和应用中的个人隐私和数据安全，反对非法收集、窃取、篡改和泄露个人信息等行为。（4）2024年3月1日，全国网络安全标准化技术委员会发布《生成式人工智能服务安全基本要求》》，对生成式人工智能服务在安全方面的基本要求，包括语料安全、模型安全、安全措施等予以明确。其中，语料内容安全方面，服务提供者需要关注语料内容过滤、知识产权、个人信息三个方面。个人信息方面，强调使用包含敏感个人信息的语料前，应取得对marketing@应个人单独同意或者符合法律、行政法规规定的其他情形。（1）2023年10月30日，美国总统拜登发布《安全、可靠及可信赖的人工智能》行政命令，要求美国多个政府机构制定标准，对人工智能产品进行测试，寻求“水印”等内容验证的最佳方法，拟定网络安全计划，吸引技术人才，以保护隐私，促进公平和公民权利，维护消费者和劳动者的利益，促进创新和竞争，提升美国的领导地位等。同时，行政命令指出，通过建立检测AI生成内容和认证官方内容的标准，从而保护美国用户免受人工智能欺诈和欺骗。（1）2024年2月8日，美国联邦通信委员会宣布机器人通话中AI生成的声音为非法，美国各州的立法者已经出台了立法，以打击AI生成的虚假和错误信息。（1）2023年6月，欧洲议会通过了《欧盟人工智能法案》授权草案。该法案将人工智能系统根据风险级别分为四个分类，从最小到不可接受。其中，“技术稳健性和安全性”要求人工智能系统在开发和使用过程中尽量减少意外伤害，并具备应对意外问题的稳健能力，以防止恶意第三方非法使用该系统或进行改变其使用方式或性能的行为。此外，该法案禁止通过从互联网或闭路电视录像中无针对性地提取面部图像来建立或扩大面部识别数据库，并禁止使用这种方式将人工智能系统投放市场、投入使用或使用。对于基于这些模型的生成型人工智能系统，法案要求遵守透明度要求，即必须披露内容是由人工智能系统生成的，并确保防止生成非法内容。此外，使用受版权保护的培训数据时，必须公开这些数据的详细摘要。例如，第52条第（3）款要求，要求创作者保持透明度。这意味着任何创建或传播“深度伪造”的人都必须披露其人工来源，并提供有关所用技术的信息。（1）2024年2月21日，欧盟人工智能办公室于成立，标志着在欧盟内促进负责任的人工智能实践迈出了重要一步。人工智能办公室的主要职能之一是鼓励和促进国际电联层面行为守则的制定，以促进有效履行与检测和标记人工生成或操纵内容相关的义务。根据这项任务，委员会有权通过执行法案来批准这些业务守则。这种监管机制确保行为准则符合某些标准，并有效应对人为生成或操纵的内容带来的挑战。此外，如果委员会认为某项业务守则不充分，它有权通过实施法案来解决任何缺陷。（1）2023年7月，ACCC和澳大利亚证券和投资委员会（ASIC）成立了国家反诈骗中心的投资诈骗融合小组，以打击投资诈骗。据Lowe称，自该小组成立以来，向Scamwatch报告的投资诈骗损失呈下降趋势。（2）澳大利亚当局周五警告其人民要警惕错误信息，此前国家反诈骗中心透露，2023年有400人报告因在线交易平台诈骗损失超过800万澳元（约合520万美元）。marketing@澳大利亚竞争和消费者委员会（ACCC）副主席卡特里奥娜·洛（CatrionaLowe）表示，这些骗局通过创建以名人为主角的虚假新闻文章和视频来运作。“诈骗者正在制作假新闻文章和深度伪造视频，让人们相信名人和知名公众人物正在使用在线投资交易平台赚取巨额资金，而实际上这是一个骗局。”5、国际组织及会议（1）2023年11月1日，首届全球人工智能（AI）安全峰会上，28国联署关于人工智能国际治理的《布莱切利宣言》，这是全球第一份针对人工智能这一快速新兴技术的国际性声明。《宣言》鼓励相关行为者采取适当措施，如安全测试、评估等，以衡量、监测和减轻AI潜在有害能力及其可能产生的影响，并提供透明度和问责制。（2）2023年10月30日，七国集团（G7）发布《开发先进人工智能系统组织的国际行为准则》。这套行为准则共包含11项内容，强调了开发过程中应采取的措施，以确保可信性、安全性和保障性。其中，开发人员需要识别并减轻风险，包括红队测试、测试和缓解措施。同时，开发人员还需要在部署后识别并减少漏洞、事件和误用模式，包括监控漏洞和事件，并促进第三方和用户发现并报告问题。此外，该准则还强调了开发和部署可靠的内容身份验证和来源机制的重要性，例如水印。这些措施将有助于确保人工智能系统的安全性和可靠性，并提高用户对其信任度。McAfee、Meta、Microsoft、OpenAI、Snap、TikTok和X等20家世界领先的科技公司宣布，将联合打击“深度伪造”信息。会上，他们集体签署一项技术协议，以抵制欺骗性的人工智能生成的内容，减少欺骗性人工智能内容的生成及其带来的风险，并同意在各自的平台或产品提出解决方案。该协议还承诺，将与全球组织和学术界合作，让公众和媒体意识到人工智能生成的欺骗内容的危险。七、哪些机构需要负起责任“深度造假”欺诈面向全球肆虐，哪些机构需要负相关责任呢？平台通常将自己定位为仅仅是内容的渠道，然而，在包括澳大利亚在内的多个国家却不存在这种保护。澳大利亚竞争和消费者委员会（ACCC）正在将Facebook告上法庭。ACCC还认为，Facebook应该作为骗局的从犯承担责任——因为在收到问题通知后未能及时删除误导性广告。至少，平台应该负责及时删除用于欺诈目的的深度伪造内容。很多平台已经声称正在这样做，例如，在Facebook上，任何AI生成的内容都可能显示一个图标，清楚地表明内容是用人工智能生成的。marketing@社