78.生成式人工智能标识管理指南

生成式人工智能标识管理指南一、标准名称：生成式人工智能标识管理指南二、项目提出单位：上海市经济和信息化委员会三、起草单位：上海市质量和标准化研究院、上海市人工智能行业协会、上海华东电信研究院四、立项理由生成式人工智能，是指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术。近年来，人工智能技术快速发展，为互联网行业带来了更多可能性，尤其在内容创作领域，生成式人工智能技术降低了创作的门槛，丰富了互联网内容生态，为信息生产和传播带来了新的变革和机遇，数字人、AI绘画以及火遍全球的ChatGPT都属于生成式人工智能范畴。生成式人工智能是人工智能1.0时代进入2.0时代的重要标志，对经济和社会的发展具有重要的促进作用，据彭博行业研究近日发布的报告显示，未来10年内，生成式AI市场规模将从2022年的400亿美元，增长至2032年的1.3万亿美元，年复合增速有望达到42%。上海将人工智能作为重点发展的三大先导产业之一，着力推动人工智能产业健康发展。自2017年起，上海在全国率先布局发展人工智能产业，发布《关于本市推动新一代人工智能发展的实施意见》；自2018年起，连续5年成功举办“世界人工智能大会”，着力建设人工智能创新策源、应用示范、制度供给、人才集聚的“上海高地”；2021年，发布《上海市人工智能产业发展“十四五”规划》《关于推进本市新一代人工智能标准体系建设的指导意见》；2022年，审议通过了首部省级人工智能地方性法规《上海市促进人工智能产业发展条例》；上海的人工智能产业规模已从2018年1340亿元到2022年突破3800亿元，年均增长超29%。一方面，人工智能技术特别是生成式人工智能迅速迭代，促进了产业发展和经济增长；另一方面，伴随生成式人工智能的发展，生成式人工智能引发的社会问题也开始涌现。一是生成内容真假难辨，违法风险激增。例如，前不久，警方侦破了一起案件，犯罪嫌疑人从网上搜索近几年发生过的社会热点新闻事件，然后在ChatGPT软件中输入该事件的关键词及部分文本，设置生成长度和风格，生成了一篇与之相关但不完全相同的新闻文章，并在自媒体平台发布《今晨甘肃一火车撞上修路工人致9人死亡》虚假文章，操控社会舆论，从中赚取流量、非法牟利。从这个案例中可以发现，新闻等场景下的人工智能生成内容很容易让用户无法区分虚拟与真实，让不法分子有了可乘之机。其它场景的生成式人工智能也不同程度地面临着相同或相似的问题。如何既不影响生成式人工智能技术的发展，又能够让普通大众比较容易辨识人工智能生成的内容成为亟待解决的问题。二是生成内容形式多样，简单标识无法解决现实复杂问题。给人工智能生成内容打上水印，帮助普通大众区分真实和虚构，确实是一种简单易行的做法。然而，现实世界是复杂的，对“水印”术语的理解不同、生成内容的展现形式差异、水印的传播的鲁棒性等等因素，都会影响提示效果，因此有必要更加深入研究标识方法和技术要求。三是生成式人工智能涉及主体众多，需要明确责任与追踪方式。在生成式人工智能提供服务的过程中，涉及提供者、使用者等，各方的技术能力、关注点和影响力都有很大的不同。生成式人工智能的使用和输出结果可能会对用户产生重要影响，因此除了从技术层面进行标识外，更需要规定模型开发者、训练数据提供者和模型使用者等相关方的责任和追溯方式，同时还需要规定出现问题或错误时的处理流程和责任划分。在此背景下，深入研究和编制生成式人工智能标识方法和管理指南，明确各相关主体的责任和追踪方式，一方面将有助于保护公众隐私和生命财产安全，另一方面也将有助于在发生虚假信息传播事件时，更快地采取行动，促进人工智能产业健康有序发展，进而推动标准更好服务于本市人工智能产业高地建设。五、主要内容本文件确立了生成式人工智能标识管理的基本原则、标识分