76.人工智能大模型可信赖应用评价指标体系

大模型可信赖应用评价指标体系一、标准名称：人工智能大模型可信赖应用评价指标体系二、项目提出单位：上海市经济和信息化委员会三、起草单位：上海华东电信研究院、上海市人工智能行业协会、上海市质量和标准化研究院、上海商汤智能科技有限公司、复旦大学、上海交通大学、百度(中国)有限公司、达观数据有限公司、华为云计算技术有限公司上海分公司、科大讯飞股份有限公司、名之梦（上海）科技有限公司等四、立项理由当前，以ChatGPT为代表的大模型引领新一轮人工智能创新浪潮，正在成为推动全球经济增长、引领数字经济、重塑产业格局、巩固国家竞争优势的重要战略支撑力量。国内外大模型竞争白热化，“百模大战”开启，我国企业、高校及科研机构快速跟进，布局了一批大模型产品。人工智能大模型显著降低了人工智能技术的应用门槛，正在快速推动产业应用创新，应用生态初步显现。人工智能大模型在技术、产业和社会等方面引发了颠覆式变革，也带来了新的问题，如模型的可解释性、鲁棒性、公平性等，这些问题比以往任何时候都更加复杂也更加迫切。从技术维度来看，大模型使用深度神经网络结构，进一步放大了深度学习自有的技术局限，模型不可解释、多模态不一致性攻击、数据模型窃取等问题日益凸显。从产业维度来看，大模型存在潜在的垄断风险，在赋能产业的同时也可能传递产业链风险；大模型本身参数规模大、性能相对较强，而目前仍存在“配套标准缺乏”、“评估体系不健全和不规范”等威胁。从社会维度来看，大模型降低了有害信息传播的门槛，增大社会安全风险。原有可信AI的概念和范畴在大模型引领变革中是否还适应？原有可信AI技术是否能满足大模型时代人工智能可信赖应用的需求？原有的可信AI体系与大模型可信赖应用体系是什么关系？这些问题亟待回答，人工智能大模型可信赖应用问题的解决对于大模型在各领域大规模深度应用至关重要。国家层面，《互联网信息服务深度合成管理规定》、《生成式人工智能服务管理暂行办法》等法律法规陆续发布，强调要重视通用人工智能发展并重视防范风险。地方层面，上海将围绕大模型创新能力、创新要素、创新应用、创新环境等四大方向，重点打造“3项计划+5大平台”。在2023WAIC开幕式，“大模型测试验证与协同创新中心”正式成立，旨在筹备和论证大模型能力测评、大模型系列标准、生态服务、模型治理和软硬件协同等五方面工作。考虑到大模型发展的必要性、重要性和前瞻性，本项目以现有人工智能治理框架为基础，结合上海市大模型在可信赖应用方面面临的机遇和挑战，充分发挥中国信通院“大模型生态合作共同体”的业界力量，也为了更好的为“大模型测试验证与协同创新中心”提供工作路径指导，项目组对相关政策、法规、技术发展、应用领域进行广泛和深入的研究，对于新形势下人工智能大模型可信赖应用的概念、范畴、技术、落地等进行深入分析和积极探索，以建立一套具有广泛指导意义的人工智能大模型可信赖应用的评价指标体系，对于开展广泛的人工智能大模型可信赖应用评测工作是必不可少的基础框架和底层逻辑。五、主要内容本文件将结合人工智能大模型发展规律、大模型风险治理、上海人工智能大模型发展需求和目的之间的关系，提取关键指标要素，建立全面的、系统的、合理的、适用的多层次的指标体系，厘清各指标之间的关系，并提出