2024人工智能 预训练模型 第2部分：评测指标

2目  次前  言 II引  言 III范围 1规范性引用文件 1术语和定义 1缩略语 1评测指标 1评测维度 1理解能力评测指标 1生成能力评测指标 11安全性评测指标 15评测要求 15评测数据集 15评测环境 15评测执行 15评测工具 16评测实施 16附录A （资料性）评测指标计算方法 17参 考 文 献 21I引  言XXXXX——第1部分：通用要求。目的在于定义制备或使用大规模预训练模型的人工智能系统的技术参考架构和相关方活动，并提出通用技术要求。——第2部分：评测指标与方法。目的在于定义预训练模型可支持完成的任务、评测指标以及评测方法。——第3部分：服务能力成熟度评估。目的在于定义大规模预训练模型服务能力成熟度评估框架，规定大规模预训练模型服务的能力要求、成熟度等级及评估方法。III I人工智能第2部分：评测指标与方法范围本文件规定了预训练模型评测内容、指标设置和评测方法。规范性引用文件（包括所有的修改单适用于本文件。GB/T41867-2022信息技术人工智能术语GB/T42755-2023人工智能面向机器学习的数据标注规程GB/TXXXXX.1-XXXX人工智能预训练模型第1部分：通用要求术语和定义GB/T41867-2022和GB/TXXXXX.1-XXXX界定的术语和定义适用于本文件。缩略语下列缩略语适用于本文件。BLEU：双语评估替补（BilingualEvaluationUnderstudy）API：应用编程接口（ApplicationProgrammingInterface）评测指标评测维度本文件对预训练模型通用能力进行评测，主要分为理解、生成、安全3个评测维度，共44个典型任务。针对每一个典型任务，本文件规定了对应的评测内容和评测方法。理解能力评测指标概述预训练模型理解能力评测主要分为单模态和多模态维度，单模态维度主要包括文本、图像、音频3个二级维度。多模态维度主要包括图文、文音、图音、图文音4个二级维度。理解能力评测维度和典型任务见表1。1表1理解能力评测维度和说明序号一级维度二级维度典型任务说明1.单模态文本文本分类将文本划分为不同的类别或标签。可以应用于垃圾邮件过滤、情感分析、新闻分类等应用场景。2.命名实体识别日期等。3.信息抽取指模型能够根据文本内容，完成内容、实体、事件、属性、关系等信息的抽取。4.数学推理指理解和应用数学概念、原理来解决涉及数学运算问题的能力。如解析表达式、图形识别、公式推导等。5.因果推理指模型在文本模态中识别和计算因果关系的能力。6.常识推理模型能对不会显式阐述的问题进行理解分析，给出正确的回答。7.任务分解指模型能够将复杂任务分解为多个步骤，并合理规划任务的执行顺序。8.文本问答指模型能够根据用户提出的问题，提供合理、准确、实用的答案。9.代码理解指模型能够对给定的编程代码，给出相应的文本解释说明。10.长文本理解指模型能够对长文本内容深入理解和分析，并提取其中信息。11.图像静态图像分类指模型能够理解图片的语义内容，并输出其对应的类别标签。12.静态图像分割把图片分成若干个特定的、具有独特性质的区域并提取感兴趣目标的技术和过程。13.目标检测在图片中检测和定位特定的目标物体。14.动态图像分类给定一个动态图像,为其划分到指定的类别中。15.行为识别对视频数据进行分析，识别出视频中包含的人16.音频声纹识别将声信号转换成电信号，再通过计算机进行识别，包括说话人辨认和说话人确认。17.音频问答指模型能够理解用户提供音频信息中的问题，并提供合理、准确、实用的答案。18.环境音分类可完成声学场景分类。19.多模态图文图文检索指模型能够根据给定的图片/文本检索到与之最匹配的文本/图片构成配对。20.图片问答指模型能够回答针对图片的文本问题。21.视觉空间关系指模型能够基于图片内容正确判断文本中所描述的对象间位置关系。22.视觉语言推理指模型能够基于给定的一对图片和描述，判断描述与图片间的对应关系是否一致。223.视觉蕴含指模型能够推理判断给定图片和文本之间的关系。24.视频检索指模型能够根据给定的视频/文本检索到与之最匹配的文本/视频构成配对。25.视频问答指模型能够回答针对视频的文本问题。26.图表推理指模型具备理解和推理图表信息，并据此作出合理的推断。27.文音文音检索指模型能够根据给定的音频/文本检索到与之最匹配的文本/音频构成配对。28.图音视频异常检测指能够同时基于视频和相应的声音对视频中的异常模式进行识别检测。29.图文音有声视频检索指模型能够根据给定的有声视频/文本检索到与之最匹配的文本/有声视频构成配对。30.有声视频问答指模型能够回答针对有声视频的文本问题。文本分类评测预训练模型对输入文本内容的分析能力，包含但不限于：句子分词：能够将句子序列切分成词序列；情感分析：能够确定文本中蕴含的情感倾向，如正面、负面或中性；语义角色标注：能够为句子中的谓词和论元赋予相应语义角色。命名实体识别评测预训练模型对输入文本内容的分析能力，包含但不限于：实体识别：能够在句子的词序列中定位并识别人名、地名、机构名等实体任务；（单个能力项不少于200条测试数据信息抽取3评测预训练模型从复杂文本内容中自动识别和抽取关键信息的能力，包含但不限于：摘要生成：能够自动产生文本的摘要，简明扼要地概述文章的主要内容和关键点；800（单个能力项不少于200条测试数据数学推理算术运算：能够进行基本的加减乘除运算；代数问题：能够解决方程求解、不等式问题、代数表达式的简化等代数问题的能力；几何解题：能够解决涉及几何图形的性质、面积、周长等计算的能力；数学应用题：能够解决日常生活中的数学问题的能力，如时间计算、距离计算、比例问题等；统计问题：能够解读概率计算、统计图表等的能力。因果推理评测预训练模型对输入文本内容的因果关系分析能力，包含但不限于：假设性条件推理：能够对包含假设性条件（如“如果……将会……”）的句子进行逻辑推理，准确识别出条件与结果的关系；（（单个能力项不少于200条测试数据使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，可参考附录A.1.1对结果的准确率进行计算。常识推理评测预训练模型在处理输入文本时的常识推理能力，包含但不限于：条件推理：能够根据文本提供的条件，推断可能的或必然的结果；4相似性判断：能够评估两个或多个对象、事件或概念之间的相似度或关系；常识性结论推断：能够从给定的信息中推断出符合常识的结论或解释。800（单个能力项不少于200条测试数据任务分解思维链：评估模型的思维链构建能力；任务编排：评估模型对分解后的任务，进行合理编排的能力。（单个能力项不少于200条测试数据使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，可参考附录A.1.1对结果的准确率进行计算。文本问答生活常识：能够对生活中常见的相关的常识问题进行解答或提供相关的建议；百科问答：能够支持各方面的百科问答，包括：财经百科、动物百科、军事百科、科技百科、代码理解评测预训练模型对给定的编程代码，给出相应的文本解释说明并给出编程代码中存在的问题的能力，包含但不限于：评估模型理解编程代码意图的能力；5评估模型根据编程代码意图发现代码中问题并对其优化的能力；C、C++、Python（单个能力项不少于200条测试数据使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，可参考附录A.1.1对结果的准确率进行计算。长文本理解评测预训练模型对长文本内容的深入理解和分析能力，包含但不限于：（直接从文本中选取关键句子）和生成式摘要（重新表达文本的核心信息）；跨文档信息融合：能够整合多个相关文档中的信息，提供全面的信息视角和深入的内容理解。1000条测试数据（单个能力项不少于200条测试数据）。使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，可参考附录A.1.1对结果的准确率、召回率及F1值等指标进行综合评价。静态图像分类评估模型识别图片中个体种类的能力；评估模型理解图片整体语义内容的能力。（单个能力项不少于200条测试数据使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，可参考附录A.1.1对结果的准确率进行计算。静态图像分割对象边界识别：评估模型在准确识别和划分图像中单个对象边界的能力；区域分类：评估模型对图像中不同区域按类别进行分类和标记的能力。（单个能力项不少于200条测试数据使用可编程测试工具和测试统计工具将A.1.1对结果的分割精度和边界精度进行计算。目标检测评测预训练模型是否具备识别并定位图片中多个物体的能力，包含但不限于：物体识别：评估模型能否准确识别图片中的不同物体种类；物体定位：评估模型能否准确地在图片中定位物体的位置，包括物体的边界框；6多类别检测：评估模型对图片中多种类别物体的检测能力；小物体检测：特别评估模型在检测小尺寸物体上的性能。（单个能力项不少于200条测试数据动态图像分类评测预训练模型是否具有理解视频内容并输出其对应类别文本标签的能力，包含但不限于：评估模型识别视频中的个体动作和活动种类的能力；评估模型理解视频整体语义内容和情境的能力；评估模型对视频中不同时间段事件的理解和分类能力。（单个能力项不少于200条测试数据行为识别评测预训练模型是否具有理解并识别视频或图像中人物的动作和行为的能力，包含但不限于：（的能力；（的能力；（（单个能力项不少于200条测试数据声纹识别评测预训练模型是否具有识别并验证个体基于声音特征的身份的能力。包含但不限于：说话者验证：评估模型能够根据输入的声音样本确认说话者身份的能力；说话者识别：评估模型能够从多个说话者中识别并区分特定说话者的声音的能力。（单个能力项不少于200条测试数据音频问答评测预训练模型是否具有从音频中提取信息并回答与之相关的问题的能力，包含但不限于：语音理解：能够从人类语音中理解问题的具体内容；语音转文本：将问答中的语音转化为文本以便进一步处理；7问题响应：根据语音输入的问题提供准确的答案或相关信息；上下文跟踪：在一系列语音问答中保持问题和答案的上下文关联。（单个能力项不少于200条测试数据环境音分类自然环境音识别：评估模型对自然环境中声音的分类能力，如鸟鸣、水流声、风声等；（单个能力项不少于200条测试数据使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，可参考附录A.1.1对结果的准确率进行计算。图文检索评测预训练模型是否具有根据给定的图片/文本检索到与之最匹配的文本/文搜图：能够根据输入的文本查询检索相关的图像；图搜文：能够查询检索与图像相关联的文字描述。（单个能力项不少于200条测试数据使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，可参考附录A.1.1对结果的准确率进行计算。图片问答评测预训练模型是否具有基于给定图片提供详细答案的能力，包含但不限于：物体识别与解释：能够识别图片中的物体并对其特性或功能进行解释；场景理解：能够理解图片展示的场景，并回答与场景相关的问题；情感分析：能够从图片中的人物表情或场景氛围判断情感状态；图文关联：能够对图片中的文本信息与视觉内容之间的关系进行解释和分析；动作解释：能够识别图片中的动作，并解释这些动作的可能含义或目的。视觉空间关系评测预训练模型是否具有基于图片内容正确判断文本中所描述的对象间位置关系的能力。8视觉语言推理评测预训练模型是否具有基于给定的一对图片和描述，判断描述与图像间的对应关系是否一致的能力。评测方法：按照被测指标描述构建包含一个或多个视觉语言推理能力的测试数据集，测试数据集中应包含不少于200条测试数据，使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，可参考附录A.1.1对结果的准确率进行计算。视觉蕴含评测预训练模型是否具有推理判断给定图片和文本之间的关系的能力。视频检索评测预训练模型是否具有根据给定的视频/文本检索到与之最匹配的文本/文本检索视频：能够根据输入的文本查询检索相关的视频；视频检索文本：能够查询检索与视频相关联的文字描述。（单个能力项不少于200条测试数据视频问答评测预训练模型是否具有理解和分析视频内容，并基于视频内容回答相关问题的能力。包括但不限于：情节理解：能够分析视频中的情节，识别关键事件和角色行为，以回答与情节相关的问题；角色分析：能够根据视频中的人物表现和对话，解析角色性格、动机及其互动；情感分析：能够识别视频中的情绪表达和氛围变化，回答有关视频情感层面的问题；抽象推理：能够从视频中提取信息并进行抽象思考，回答涉及推理和逻辑的复杂问题。评测方法：按照被测指标描述构建包含一个或多个视频问答能力的测试数据集，测试数据集中应包含不少于1000条测试数据（单个能力项不少于200条测试数据），使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，可参考附录A.1.1对结果的准确率进行计算。图表推理（9趋势预测：根据图表中的历史数据，预测未来的发展趋势或变化；结果解释：能头根据图表提供的数据，生成明确、准确的文字描述，解释图表所展示的结果。含不少于800（单个能力项不少于200条测试数据文音检索评测预训练模型是否具有根据给定的音频/文本检索到与之最匹配的文本/文本检索音频：能够根据输入的文本查询检索相关的音频；音频检索文本：能够查询检索与音频相关联的文字描述。（单个能力项不少于200条测试数据使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，可参考附录A.1.1对结果的准确率进行计算。视频异常检测评测预训练模型是否具有理解并识别视频中异常行为或事件的能力，包括但不限于：人员异常行为：评估模型对视频中人员的异常行为（如打斗、奔跑等）的识别能力；（的识别能力；环境异常状况：评估模型对视频中环境异常（如火灾、洪水等自然灾害）的检测能力。（单个能力项不少于200条测试数据使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，可参考附录A.1.1对结果的准确率进行计算。有声视频检索评测预训练模型是否具有从有声视频资料中检索与查询内容相关信息的能力，包括但不限于：视频内容理解：能够分析视频中的视觉元素、场景和行为，并与查询语句相匹配；跨媒体检索：能够根据文本查询检索与之相关联的视频片段或音频，或者根据视频/音频内容检索出相关的文本描述。（单个能力项不少于200条测试数据使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，可参考附录A.1.1对结果的准确率、召回率和F1分数进行计算。有声视频问答评测预训练模型是否具备从有声视频内容中提取信息并回答相关问题的能力，包括但不限于：视听内容理解：能够理解视频和音频中的情境、情感及对话内容，提供准确的信息提取；多模态交互：能够结合视频图像与音频信息，对复杂的多模态问答问题给出合理的答案；10实时信息处理：能够从实时视频和音频流中快速提取信息，支持实时问答交互；（（单个能力项不少于200条测试数据生成能力评测指标概述表2生成能力评测维度和说明序号一级维度二级维度典型任务说明1.单模态文本摘要总结模型能够理解文本并根据输入内容生成相应摘要总结。2.机器翻译模型能够理解文本指令，将文本从一种语言翻译成另一种语言。3.文本改写模型将文本从一种表述方式改写成另一种表述方式。4.代码生成5.半结构化数据生成模型能够理解文本指令，并根据输入指令生成sql、json、xml等内容。6.多模态图文文本生成图片模型能够理解文本指令，生成符合其要求的图片。7.图片生成文本描述指模型能够对图片的内容进行概括总结，生成合理的文本描述。8.文本生成视频模型能够理解文本指令，生成符合其要求的视频。9.视频生成文本描述模型能够对视频的内容进行概括总结，生成合理的文本描述。10.图文音文本生成有声视频11.视频生成文本描述模型能够对有声视频的内容进行概括总结，生成合理的文本描述。12.文音语音合成模型可以根据指定文本生成对应的语音。13.语音识别14.语音翻译模型能够理解输入语音及其语言，并将其翻译为指定语言所对应的语音。摘要总结评测预训练模型的摘要和总结能力。包括但不限于：11段落关系理解：测试模型能够理解段落之间的逻辑关系，以及如何在整个文档中组织信息；篇章理解：测试模型能够理解整个文章或文档的结构和主旨，以及各部分之间的联系。机器翻译评测预训练模型将文本从一种语言翻译成另一种语言的能力，包括但不限于：评测模型翻译准确的能力；评测模型对行业特定术语掌握程度。文本改写评测预训练模型将文本从一种表述方式改写成另一种表述方式的能力，包括但不限于：评测模型对原文本内容理解能力；评测模型根据给定文本风格对文本改写的能力。代码生成评测预训练模型根据给定目标生成可运行编程代码的能力，包括但不限于：CPythonJavaJavaScriptgo1半结构化数据生成评测预训练模型根据输入指令生成sql、json、xml等内容的能力。包括但不限于：格式正确性：评测生成的半结构化数据是否有语法错误、是否符合文件规范；内容质量：评测是否理解指令意图，生成符合要求的半结构化数据内容。文本生成图片描述12图片质量：评测生成图片的清晰度、色彩、光线、细节等视觉因素；语义内容：评测生成图片是否符合文本输入的语义内容。应包含不少于600条测试数据，使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，可参考附录A.2对结果的相关度、完整度、有效性进行主观评测。图片生成文本描述评测预训练模型根据对图片内容的概括总结，生成合理文本描述的能力，包括但不限于：准确描述能力：评测模型对图片整体与细节内容的提取与描述能力；主次提取能力：评测模型对图片中主次体的提取与侧重点的偏移能力；抽象描述能力：评测模型对图片隐含内容的理解与描述能力。评测方法：按照被测指标描述构建图片测试数据集，测试数据集中应包含不少于600条测试数据，使用可编程测试工具和测试统计工具将测试数据集输入到被测系统并获取运行结果，可参考附录A.2对结果进行主观评测。文本生成视频视频质量：评估生成视频的视觉质量，包括但不限于清晰度、色彩、光线、细节等方面；语义内容：评估生成视频的语义内容是否符合文本输入的语义；稳定性：评估生成视频的稳定性，包括视频的帧率、码率、帧间延迟等方面；视频生成文本描述评测预训练模型根据对视频内容的概括总结，生成合理的文本描述的能力，包括但不限于：准确描述能力：评测模型对视频整体与细节内容的提取与描述能力；主次提取能力：评测模型对视频中主次体的提取与侧重点的偏移能力；抽象描述能力：评测模型对视频隐含内容的理解与描述能力；文本生成有声视频13视频质量：评估生成视频的视觉质量，包括但不限于清晰度、色彩、光线、细节等方面；语义内容：评估生成视频的语义内容是否符合文本输入的语义；稳定性：评估生成视频的稳定性，包括视频的帧率、码率、帧间延迟等方面；视频生成文本描述评测预训练模型根据对视频内容的概括总结，生成合理的文本描述的能力，包括但不限于：准确描述能力：评测模型对视频整体与细节内容的提取与描述能力；主次提取能力：评测模型对视频中主次体的提取与侧重点的偏移能力；抽象描述能力：评测模型对视频隐含内容的理解与描述能力；语音合成评测预训练模型根据指定文本生成对应的语音的能力，包括但不限于：语音合成质量：模型生成的语音从自然度、清晰度、韵律感等方面综合评测。语音识别评测预训练模型将所接收到的有效语音信号转化为与语音内容相符的文字结果，并将其输出的能力，包括但不限于：中文识别能力：模型能够理解中文普通话，以及不同年龄、性别、口音的发音人输入的语音，并将其转录为对应的文本；语音生成文本的准确性：评测模型生成的文本是否正确、是否有语法错误等。语音翻译评测预训练模型根据输入的语音内容生成相应指定语言翻译的语音能力，包括但不限于：14安全性评测指标评测要求评测数据集评测数据集应满足以下要求：评估指标完备：应为每个评价指标构建满足相应数量的数据集；时效性：数据集应结合开源数据集和自制数据集，定期更新维护；可用性：数据集格式和接口应符合广泛的标准，以便于获取和使用；多样性和代表性：应涵盖不同的背景、场景、领域等，以确保数据能够覆盖不同的使用情况；GB/T42755-202367评测环境根据被测模型的功能手册，应按照被测系统的使用要求进行软硬件环境配置。评测执行基于评价方案，开展测试活动：自动化测试在评测数据集中应构建出相应的参考答案；在自动化测试脚本中应清晰定义具体的评价指标计算方法和评分规则。人工测试应分析评价结果的分布和一致性，及时发现潜在的评价偏差或不一致问题；宜选择具有相关领域知识和经验的评价人员，以确保评价结果准确性和专业性。宜为评价人员提供相应的评价工具，以支持评价人员的工作；宜对评价人员定期进行复训，更新评价知识和技能，尤其是当标准内容有调整时；宜定期收集评价人员的反馈，用于优化评价流程和评价标准。使用大模型作为裁判进行测试15应确保测试过程中大模型访问接口的稳定可靠，以确保评估过程的连续性。评测工具针对开放API和不开放API的两种系统，应准备两种评测工具：APIAPIAPIwebAPP)。评测实施对6.4的评测工具应分别执行3次，获取3次测试结果，对结果取平均值作为最终测试结果。16附录A（资料性）评测指标计算方法客观评价方法准确率准确度是正确分类的样本数与样本总数之间的比例，通过公式计算:c= T‰䑔T䉄 #T‰䑔T䉄䑔F‰䑔F其中TP——真正的正样例数量；TN——真正的负样例数量；FP——错误的正样例数量；FN——错误的负样例数量。准确率易受类别不平衡影响，当数据集不平衡时，准确率不再是可靠的度量指标。micro-F1micro-F1P= T‰T‰䑔F‰R= T‰T‰䑔T䉄F1=2׉×R#8‰䑔R其中TP——真正的正样例数量；TN——真正的负样例数量；FP——错误的正样例数量；FN——错误的负样例数量。召回率BLEU指标17BLEU（全称为BilingualEvaluationUnderstudy），其意思为双语评估替补，是一种用于机器翻译任务的评价指标，其总体思想为准确率。如给定标准译文reference，神经网络生成的句子是candidate，句子长度为n，candidate中有m个单词出现在reference，m/n就是BLEU的1-gram的计算公式。根据n-gramBLEU-1BLEU-2BLEU-3BLEU-4其中，表示某一个n−gram在reference中的个数； 表示表示n−gram′在candidate中的个数。主观评价方法本文件中采用人工评价指标——MOS分（MeanOpinionScore），来评估预训练模型的效果。这些维度包括相关度、完整度、有效性、连贯性、真实性和有害性。相关度指