人工智能 国资央企行业大模型评测要求 第1部分：电力大模型（征求意见稿）

准T/CESAXXXX—202X人工智能国资央企行业大模型评测要求ArtificialIntelligence-Evaluationrequirementsforindustry-specificlargemodelsofChinesecentralState-ownedenterprises-Part1:largemodelsforthepowerindustry202X-XX-XX发布202X-XX-XX实施中国电子工业标准化技术协会发布I ——第1部分：电力大模型；——第2部分：交通大模型；本文件由中国电子技术标准化研究院、中国电子工业引言技术在国资央企各行业内的深度融合与创新应用，推动行业整体向智能化1GB/TXXXX.2—XXXX人工智能大模型第2部分mAP：均值平均精度（MeanAveragePrecFLOPS：每秒所执行的浮点运算次数（floating-pointoMoE：混合专家（MixtureofExpeNLP：自然语言处理（NaturalLanguageProcesBLEU:双语互译质量评估(bilingualevaluationunderROUGE:基于召回率的摘要评估(Recall-OrientedUnderstudyforGistingEFPS:每秒帧数(FramesPerSePSNR:峰值信噪比(PeakSigna1-to-NoiseSSIM:结构相似性指数(StructuralSimilarityIn4评测框架4.1概述评测基本框架要求包括评测对象、评测任务、2电力专业能力应包含规划建设、发电、输电31）建设现场安全规范识别应包括未佩戴安全帽识别a)电力规划知识问答应包括相关政策知识问答、负荷预测知识问答、能源规划知识问答、电网2）负荷预测知识问答应包括传统负荷预测方法问答、新型负荷预测技术问a)电力勘测设计知识问答应包括岩土专业知识问答、勘测知识问答、电力工程设计知识问答等2）勘测知识问答应包括地形勘测知识问答、水文勘测知识问答、地质灾害勘3）电力工程设计知识问答应包括设计规范、行业标准、管理规定和建4a)电力建设施工知识问答应包括施工标准知识问答、安全管理知识问答、异常天气预警应对知2）安全管理知识问答应包括电力基建施工中的安全风险、管理措施和应急预3）异常天气预警应对知识问答应包括各类异常天2）设计文档生成为根据给定设计指标参数、地质2）布置方案生成为根据划定的布置范围和规范52）人员安全帽佩戴识别任务可识别发电场站内作业现场人员是否按规定佩戴安全帽，支持多3）人员工作服识别任务可识别发电场站内人员是4）人员睡岗识别任务可识别工作人员的睡岗情况，支持靠椅后61）设备运检知识问答：能够给出来源于火电、风电、水2）机组故障判定：能够根据输入的发电设备故障机组情况，3）检修技改分析：能够给出来源于发电设备运行状况分析其所属的5.2.3输电a）输电系统缺陷应包括杆塔异物识别、导线缺陷识别、塔基基础缺陷识别、防震锤问题、小金78）绝缘子问题：能够识别无人机巡检中复合绝缘子伞裙a）输电施工机械类隐患识别任务包括吊车识别、挖掘机识别、桩机识别、塔吊识别和水a）输电非施工机械类识别应包括烟雾、火灾、遮阳网、薄膜识别、易漂浮物识别、房屋识别a）输电人员行为识别应包括安全帽识别、工作服识别、安全带识别、异常行为识别和人85.2.3.4.1输电设备、设施运检a）直流输电运检知识问答应包括直流线路运检知识问答、直流杆塔运检知识问答等2）直流杆塔运检知识问答：能够给出直流输电线路各类杆塔巡检维护、试验检测a）输电设备安全监督知识问答应包括输电线路安全管理规定问答、输电隐患排查及治理知识问答92）输电隐患排查及治理知识问答：能够给出输电架空线路、高压电缆线路2）高压电缆故障推理：能够根据高压电缆线路及其附属设施发生故障后采集a）变电设备缺陷识别应包括异物识别、设备锈蚀、设备漏油、绝缘子缺陷、仪表盘缺陷识别、端12）设备状态指示识别：能够识别分合闸指示、压板状态、空开状态、指示灯a）变电施工机械类隐患识别任务包括吊车识别、挖掘机识别、桩机识别、塔吊识别和水5.2.4.2.2变电非施工机械类隐a）输电人员行为识别应包括安全帽识别、工作服识别、安全带识别、异常行为识别和人a）变电站设备运检知识问答应包括变压器运检知识问答、高压组合电器运检知识问答、二次1）变压器运检知识问答：能够给出变电站主变压器2）高压组合电器运检知识问答：能够给出变电站常规敞开式空气绝缘配电装置（AIS）、气3）二次设备运检知识问答：能够给出变电站继电保护、测控装置、波、电能质量监测、自动同期/解列装置、远动通信、网络安全及电站监控系统等所有二次设备，a）换流站设备运检知识问答应包括换流阀运检知识问答、换流变压器运检知识问答、换流站2）换流变压器运检知识问答：能够给出换流变压器及其附属设施的巡检维护3）换流站开关运检知识问答：能够给出换流站交、直流断路器及其附14）滤波及无功补偿设备运检知识问答：能够给出换流站平波电抗器、交流滤波器和各类无功5）换流站二次设备运检知识问答：能够给出换流站保护测控装置、综合自动化系统2）换流站设备故障推理：能够根据换流站设备及其附属设施发生故障后采集a）配电系统缺陷识别应包括异物识别、锈蚀问题、绝缘子问题、变压器问题和导线类缺陷等任a）配电施工机械类隐患识别任务包括吊车识别、挖掘机识别、桩机识别、塔吊识别和水1a）输电人员行为识别应包括安全帽识别、工作服识别、安全带识别、异常行为识别和人员身份a）配电网运检知识问答应包括配电线路运检知识问答、电缆运检知识问答、配电变压器2）电缆运检知识问答：能够给出配电电缆及通道附属设施3）配电变压器运检知识问答：能够给出柱上变压器、箱式变压器等各类配电变压器及其2）配电隐患排查及治理知识问答：能够给出配电线路、设备运行及附2）配电线路故障定位：能够根据配电线路发生故障后，采集其附属设施及配2）配电抢修方案生成：能够根据配电网故障研判和处理建议，参a）电力营销知识问答应包括营销政策知识问答、营销业务管理规定问答、营销业务标准规范问答122）电力营销指标研判：能够基础数据分析售电量、销售额增长率、电c）考察电力知识理解能力、分析推理能力a）能够利用数据融合、大数据、人工智能技术，通过新能源功率预测典型场景辨识，优选新能源事故事件风险分析、处置策略、故障/异常适当处置过程，故障/异常后运行方式1c）考察电力知识理解能力、分析推理能力c）考察电力知识理解能力、分析推理能力5.2.7.3.3负荷转供辅助决策方案生cc）考察电力知识理解能力、分析推理能力5.2.7.4.3暂态分析——扰动后测试数据中正确的条目数。t——第i条测试数据发送请求的时间点。2t——第i条测试数据发送请求的时间点。t——第i条测试数据开始推理的时间点。t——第m个测试帧完成推理的时间点；t——第m个测试帧开始推理的时间点。2型型型0分;型2Precision=..............Recall=....................Precision——精确率；F1——F1Score；mIOUmIOU=i.................................PA——像素准确率；SSIM=......................I(i,j)——原始图像在位置(i,j)的像素值；K(i,j)——增强后的图像在位置(i,j)的像素值；2σ——原始图像的方差；σ——增强后图像的方差；ACC=...........................例预测值与实际值之间差异的绝对值的平均Precision=...............Recall=....................Precision——精确率；RMSE=