2024人工智能安全治理实践方案

（2024年2024年12一、概 （一）人工智能风险挑战引发全球关 （二）人工智能风险治理模式亟需创 （三）推动面向产业界的人工智能风险治理落地框架迫在眉 二、人工智能风险认知渐进深 （一）人工智能内生安全与衍生安全复杂交 （二）人工智能风险认知迈向多维度深化融 三、人工智能风险治理全球实 （一）国际层面：加速推进风险治理行动及 （二）主要经济体：迭代完善风险划分与管控举 （三）产业组织：协同推进治理框架和安全工 （四）企业主体：深化技管融的风险应对方 四、面向产业的人工智能风险治理实践方 （一）打造全链条人工智能风险治理框 （二）提升人工智能风险系统治理能 （三）设立人工智能风险精准识别机 （四）健全人工智能风险科学评估体 （五）完善人工智能风险敏捷应对方 五、展望建 （一）促进全球作，共筑人工智能治理新格 （二）优化治理体系，夯实人工智能安全发展基 （三）发挥桥梁作用，推进行业治理标准化与动态 （四）强化内外协同，助力技术创新与责任共 图1人工智能风险治理框 图2人工智能内生安全和衍生安 图3人工智能风险认知趋 图4面向产业的人工智能风险治理实践方 人工智能风险治理报告（2024人工智能风险治理报告（2024年《2024年人工智能指数报告》统计，2023123201320奇安信《2024人工智能安全报告》显示，2023年基于人工智能的深3000%1000%3。则金砖国家正推动成立人工智能研究小组以促进作和负责任的适的作框架与实践指引举措上中国加快完善人工智能治理体系，2024年7月，党的二十届三中全会《中共中央关于进一步全面深化改革推进中国式现代化的决定》中提出建立“人工智能安全监管制工智能产业综（2024版ChatGPT发布以来，大模型能力愈发突出，人工智能领域迎来了织通过促进跨国作，例如与其他国家的相关组织开展联测试提调整后再整到其他软件系统由于双方均无法全面了解整个系统，或将增加这些软件错误和失控风险6形成人工智能风险治理框架（1）。人工智能的迅速发展与广泛图1人工智能风险治理框架在风险评估节通对风险行评化与优级划分帮助配置资源，益攸的作信息享以提升业整险治理力。图2人工智能内生安全和衍生安全适当保护、过滤或匿名化处理，可能导致敏感信息泄露。2024年11月，X公司在其隐私政策中声明用户信息会向第三方作者共享，可能会被第三方用于训练包括生成式人工智能在内的人工智能模型7。202410ChuanhuChatGPTLunaryLocalAI和DJL在内的多个开源模型被曝存在安全漏洞，其中一些可能导致8。险的可能性。20242月，香港发生一起利用人工智能深度伪造技能力可能被滥用，威胁全人类安全。20249月，OpenAI承认，其最新模型o111。能风险的不懈追求，也反映了人工智能风险的最新动向（见图3）。图3人工智能风险认知趋势14。18个月内人工智能损害范围和严重程度将大16。（NIST17。德国联邦信息安全办公室（BSI）《生成式人工智18。体性。由75位顶尖人工智能专家参与编写的《先进人工智能安全国得主和25位权威专家在《科学》（Science）期刊联发表的《人工智20。智能科学小组联其他国际组织研究人工智能风险等议题此外，联多样化的作方式。经合组织推进人工智能规则适应落地。2024年5202411月的乌镇峰会上，正式成立人工智能专业委员会，常态202311月，20245月，韩国及英国共同主办人工智能首尔峰会，16家顶尖人工智能科技公司联签署《前沿人工智能安全承诺》，承诺公开透明地报告其前沿发和部署。同时，英、美等11国签署《首尔人工智能安全科学国际范建设。202312月，ISO供指引。2024年4月，联国下属标准组织20245国际电信联盟（ITU）在“AIforGood”全球峰会期间组织了“检测深度成联启动了“人工智能水印多媒体内容真实性和深度伪造检测标准措施。风险划分上，20248月正式生效的欧盟《人工智能法》，依（CEN202411OpenAI16先治理医疗保健、消费市场等领域。2024年英国药品和医疗保健产人工智能及机器学习产品制定规定。20244月，英国竞争与市场20244月，英国金融行为监管局（FCA）与数字监管作论坛帮助企业测试人工智能风险的创新解决方案。20245月，英国人事后则根据风险的不同责任主体建立相应框架。2024年5月，新加商承诺、产品损害责任与无过失保险统筹结确保风险发生时能够为用户提供及时救济。风险管控上，20245AIVerify基金会在原有AIVerify2024112500个深度25257款生成式人工智能的系统框架。20231月，美国国家标准技术研究所（NIST）（1.0映射、评估和管理方法。20238AINow研究所等机构联202312月，中国信通院依托中国人工智能产业发展联盟（AIIA）的研发与应用。20241月，NIST发布了关于对抗性机器学习攻击43,000个测试提示词评估大模型对一步提高大模型回答知识类问题的准确率。20244院依托中国人工智能产业发展联盟发起大模型安全基准测试SafetyBenchmark50余万条测试输入，涵治理作也在不断深化。例如，2024年2月，亚马逊、谷歌、IBM、TikTok和X等20家科技公司在慕尼黑安全会议上宣布联打击深评估到防御等多个环节。风险识别方面，OpenAI20245月发布98%的情况下正确识别由其图像生成模型Dall-E3PyRIT工具能够评估大模型生成同领域专家人工构造的中文评测集CValues，评估中文语言模型安全研发方评估人工智能系统的安全状况并实施防护。微软的AzureAIContentSafety提供了自动识别和干预有害内容的功能，并允许人工智能系统研发方自定义过滤规则从而根据具体需求提升内容规性。百度于2024年8SenseTrust人工智能21中国信息通信研究院、京东探索研究院：《可信人工智能白皮书》，20217图4面向产业的人工智能风险治理实践框架自身技术层风险识别重点关注数据质量与法性算法模型的鲁棒性、引发的价值侵害、安全影响和潜在的社会问题。其次，风险评估环节急预案与跨领域协作。同时，通过持续评估剩余风险，不断优化应对供应商进行全面评估确保其产品和服务符组织的安全标准与治理全与规性。稳定结可视工具解释性法分型决策辑，减少针对性的解决方案。此外，还需要定期进行法规遵从和伦理及规审