人工智能风险治理报告（2024年）-构建面向产业的人工智能安全治理实践方案

1 1 3 4 6 6 9 12 12 14 17 18 19 19 21 23 25 27 29 29 30 30 31 5 7 9 201一、概述（一）人工智能风险挑战引发全球关注倍，并呈现持续增长态势1。与此同时，人工智能风险1https://aiindex.stanf2/view/journals/006/2024/03/threat/reportdeta2外，政府驱动的人工智能风险治理逐渐完备。根据加拿大咨询公司法规已达317份4；产业驱动的人工智能标准化行改革推进中国式现代化的决定》中提出建立“人工智能安全监管制4https://www.fairly.ai/blog/map-5秦铭浩徐慧芳.全球人工智能标准化进展及我国发展建议[J].世界科技研究与发展,203（二）人工智能风险治理模式亟需创新4主体多个维度复杂互动，产业链的延展使得治理结构变得更加复杂，统，或将增加这些软件错误和失控风险6。人工（三）推动面向产业界的人工智能风险治理落地框架迫在眉睫6/articles/early-thoughts-on-regulating-generative56环节，为不同优先级的风险制定定制化方案，并动态优化治理措施。二、人工智能风险认知渐进深化（一）人工智能内生安全与衍生安全复杂交织业替代、不可持续发展等衍生安全问题（见图2）。安全问题的客观7“投毒”，数据标注不规范也会降低数据质量，诱发能会被第三方用于训练包括生成式人工智能在内的人工智能模型7。7/en/priv88/news/show/189/9（二）人工智能风险认知迈向多维度深化融合人工智能风险的认知向全球性融合、前瞻性10/20240115/66fe98299e11https://www.c1播虚假信息，这些问题只能通过全球协调加以解13.uk/government/publications/ai-safety-summit-2023-the-bletchleydeclaration-by-countries-attending-the-ai-safety-summit-1-2-novem14.uk/government/publications/seoul-declaration-for-safe-inno15.uk/government/publications/ai-safety-summit-2023-the-bletchleydeclaration-by-countries-attending-the-ai-safety-summit-1-2-novem明、数据歧视、责任界定困难和隐私泄露等问题16/content/dam/oecd/en/publications/reports/2024/11intelligence-risks-benefits-and-policy-imperatives_8a491447/3f4e3dfb-en.pdf17/nistpubs/ai/NIST.AI.6018/kxyj/qwfb/bps/202107/P0202107093198664139 位图灵奖得主和25位权威专家在《科学》（Science）期刊联合发表甚至产生新的风险20。三、人工智能风险治理全球实践（一）国际层面：加速推进风险治理行动及合作19.uk/media/666ac68ca8b7ec4fae43d0f9/international_sci_safety_of_advanced_ai_executive_summary_chinese.pdf20/rain/a/20240526A01TUD00?web_channel=wap&openApp=false&suid=&media_id=沿人工智能带来的风险和采取行动的必要性达成共识，并提出建立韩国及英国共同主办人工智能首尔峰会，16家顶尖人工智能科技公供指引。2024年4月，联合国下属标准组织世界数字技术研究院联盟（ITU）在“AIforGood”全球峰会期间组织了“检测深度（二）主要经济体：迭代完善风险划分与管控举措包括成立人工智能办公室，负责监管人工智能发展，同时防范风险；先治理医疗保健、消费市场等领域。2024年品监管机构（MHRA）规划报告重点之一是（三）产业组织：协同推进治理框架和安全工具院依托中国人工智能产业发展联盟发起大模型安全基准测试AISafetyBenchmark。在内容安全维度，整理了50（四）企业主体：深化技管融合的风险应对方案技术解决方案逐步向一体化和定制化发展，涵盖了从研发方评估人工智能系统的安全状况并实施防护。微软的AzureAIContentSafety提供了自动识别和干预有害四、面向产业的人工智能风险治理实践方案（一）打造全链条人工智能风险治理框架（二）提升人工智能风险系统治理能力（三）设立人工智能风险精准识别机制人工智能系统生命周期中可能造成负面影响的不确定性和潜在威胁（四）健全人工智能风险科学评估体系风险评估是对人工智能风险进行挖掘分析和精准把脉的重要阶可接受度评价标准。风险可接受度不仅与现对于严重程度远高于可接受度的风险种类，可以划定为“高优先级”对于“低优先级”风险，组织可以选择接受风险，并持续进行监控。五、展望建议（一）促进全球合作，共筑人工智能治理新格局一是参与并主导多边治理框架，通过联合国、二十国集团（G20）、协作性，积极代表新兴经济体发声，