2025年电力人工智能多模态大模型创新技术及应用报告-西安交通大学

电力人工智能多模态大模型创新技术与应用报告人：王小华教授西安交通大学电气工程学院2025年2月人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科以符号逻辑为(如专家系统),能力弱。1970s中期知识期聚焦知识工程与专家系统构建，识库驱动决策，成本与规模瓶颈。1980s-2000s早期依赖统计学和人工设计特征构造算法；代表算法：决策树朴素贝叶斯算法通过模型组合提升预测精度；代表算法：梯度提升决策树早期神经网络时期域取得初步应用；代表算法：循环神经网络图神经网络2018s-现在大模型时期基于海量数据与大规模预训练；代表算法：DeepSeek系列Qwen系列GPT系列神经网络深度学习机器学习人工智能人工智能领域迭代迅速、多种技术流派蓬勃发展，在多个领域已有广泛应用。在人工智能领域，数据、算力与算法构成在人工智能领域，数据、算力与算法构成发展基石——数据驱动模型训练，算力支撑复杂计算，算法优化技术路径，三者协同推动人工智能向更高阶形态演进。AMD芯片芯片……集群如何提高数据的规模与质量是当前人工智能领域的关键问题。英伟达仍然是最主流的算力平台；国产算力平台快速崛起，生态逐渐成熟。通用模型是当下研究热点与未来趋势；研究高效训练算法具有重要创新意义。能力扩展检索增强工具学习音频行业应用模态扩展多层感知机卷积神经网络多层感知机卷积神经网络Voctor序列处理高效并行模态扩展背景2——人工智能大模型引领新一轮科技革命大模型井喷式发展自从大模型井喷式发展自从ChatGPT在2022年问世以来，全球大模型发展迅速，百种大模型竞相发布，推动性能、规模和应用PanGu-PanGu-WebGPT⑤Uni-Pereiver-MoEErnie3.0TitanT1-12GNemotron-4-340BGNemotron-4-340Bphi-314B0开源社区大模型测评晶城市NLLBA开源社区大模型测评晶城市NLLBA多模态计算机视觉多模态计算机视觉开发平台大模型发展历程图回芯片山数据服务背景3——人工智能赋能新型电力系统发展>新型电网：人工智能赋能后，通过实时调度优化、智能维护和精确能源管理，可大幅提升电网的运行效新型电网新型电网发电智能调度&输电网络优化损耗低用户负荷预测&用电科学管理体验佳m电力系统发展国家发展和改革委员会工业和信息化部中央网络安全和信息化委员会办公室国家发展和改革国家发展和改革委员会工业和信息化部中央网络安全和信息化委员会办公室国家发展和改革管理要员食关于印发国家人工智能产业综合标准化体系建设指南(2024版)的通如中华人民共和国工业和信息化部MisyetphorymdskermetoFedickswfrePepesF第三条中华人民共和国中央人民政府首酒油论的啦，香州恋怀发，度学习尔等齐关半作质，电力生产和分配相对低效×设备故障响应全天候实时响应差×电力系统现状借助人工智能赋能新型电力系统可持续蓬勃发展背景4——自研电力大模型意义重大>>从数据上讲，通用数据分布与电力领域多模态数据差异过大，专业程度低、关联性弱；>从模型上讲，开源通用模型缺乏电力专业预训练(缺乏专业电力知识注入),多模态支持不足；>从应用上讲，现有国产化电力大模型在真实电力任务上性能不够高、与实际需求仍存在差距。精准性差可靠性不足闭源化不支持多模态闭源化不支持多模态电力数据差异巨大、无法使用文本数据理解有误文本数据理解有误图像数据分析偏差模型趋于闭源化可靠性不足无法原生支持关联性差可靠性不足无法原生支持T文字识别模型文字识别模型电力安全是国家安全问题，电力人工智能多模态大模型核心技术必须自主可控背景4——自研电力大模型意义重大(数据层面)文本数据电气信号图像与视频to开关，我入村站110kv备自投装置……3.传电期件发有v吃网风助，发iV供电，其它方式哲不依复一需要支持复杂工况下智能模型的多模态、多维度综合协同处理电力行业需要具备高质量、多场景覆盖、需要支持复杂工况下智能模型的多模态、多维度综合协同处理背景4——自研电力大模型意义重大(模型层面)>>传统电力Al模型基于特定任务开发，大多为单模态算法，综合成本高、智能性与泛化性不足；>开源Al大模型缺少电力领域预训练，专业知识缺失，处理实际电力任务能力差。传统模型传统模型开源大模型开源大模型泛化性不足适配性差泛化性不足适配性差i些置他高且任务适应性差缺乏行业数据缺少专业知识任务适应性差缺乏行业数据缺少专业知识智能性不足，的专业回答背景4——自研电力大模型意义重大(应用层面)>电力通用大模型的开发需要基于>电力通用大模型的开发需要基于国产计算集群开展软硬件协同优化，满足电力大模型的应用要求；>电力场景需要基于边缘计算基于国产计算设备的电力大模型训练技术开发面向电力场景的大模型边缘计算技术开发设备设备数据模态多任务形式多样专业性要求高技术体系要求技术体系开发基于开发基于国产硬件设备搭建电力大模型应用体系数据去重敏感词去除数据去重敏感词去除人类评估反馈优化人类评估反馈优化图像描述生成检测数据增强多样化问答数据特征关系保留的知识蒸馏方案目标技术梯度精度分析的模型量化技术目标技术边缘计算+云边协同目标技术提供训练数据提供部署模型目标模态数基座自研高性能电力大语言模型实时交互模块工具调用模块模态对齐模块纯文本数据多模态数据纯文本数据多模态数据息数据指令回答提示词十种子数据数据指令回答提示词十种子数据数据标注提供自动化标注提供高质量数据(多模态)预训练/指令微调数据集制作(多模态)预训练/指令微调数据集制作电力场景真实图像电力设备监测信号开关设备状态监测输电线路异物检测(变压器)类别&坐标：油污：[0.25,0.7,0.35,1.0]描述：变压器左下角是一片油污。变压器左下角有明显的油污痕迹。在变压器的左下角可以观察到油污的存多轮对话详细描述深度推理…生成数据反馈，流程更新。模型：这张图片显示的是一个变压器。表面详细有明显的磨损和锈迹，表明已经使用了相当描述长的时间。图片中左下角的黑色污渍和不规模型：图中变压器左下角有油污痕迹，可能存在推理异常升高，超过安全阈值。推测可能是变压器油100万条，为多模态大模型在多场景、多任务的训练提供数据支持电力视频编码器电力图像编码器电力视频编码器图像编码器统一的特征序列图像编码器统一的特征序列电气信号编码器统一的特征序列向量映射层向量映射层统一的特征序列统一的特征序列采样模块文本编码器统一的特征序列副许共+52个采样模块文本编码器统一的特征序列副许共+52个按照词表0002000300000020003000多模态输入→多模态特征对齐_二(非线性)特征运算多模态特征重构→多模态输出重构多模态重构器多模态重构器XiaohuaWang*,JifengDai.Uni-perceiver:Pre-trainingunifiedarchitectureforgeneXiaohuaWang*,JifengDai.Uni-perceiver:Pre-trainingunifiedarchitectureforgeneandfew-shottasks[C]//CVPR.2022:16804-16815.andfew-shottasks[C]//CVPR.2022:16804-16815.18/37电力领域多模态大模型预训练方案图像分词编码器图像分词编码器扩散解码器图像编码器-解码器框架a)图片编码为连续的特征向量b)在像素空间中重建RGB图像多模态统一预训练框架多模态统一预训练框架大规模多模态模型a)大规模多模态模型文本b)文本步骤1:有监督指令微调步骤2:训练奖励模型步骤3:PPO调整策略提示词提示词指令微调回答1指令微调模型回答2参数同步回答1回答2参数同步回答微调参数更新预训练模型奖励值指令微调模型指令微调预训练模型奖励值指令微调模型>有监督指令微调增强模型在特定场景下理解和遵循人类指令的能力>人工反馈强化学习显式地将人类反馈引入训练过程>通过人类反馈将模型输出对齐到人类的价值观和偏好，提高模型的回答质量与可靠性3、模型训练：混合立体并行训练方案国产集群适配支持功能国产集群适配支持功能窖精度对齐任务自动恢复干卡并行训练精度对齐任务自动恢复干卡并行训练高效数据读写单个计算节点综合考虑国产化集群并行策略适配算节点综合考虑国产化集群并行策略适配增加数据批大小04基于国产计算集群搭建大模型训练软硬件体系21/374、部署应用：大模型轻量化全流程方案要素之一。教师模型大参数(>70亿)高精度大模型轻量化流程大模型轻量化流程基于特征关系保留的知识蒸馏技术教师模型教师模型nT特征向量厂梯度向量g学生模型口基准关系向量对比街失M⁷S符空关系科品F5特往关系计算子网络M'间关系向特征关系计算子网络量化模型小参数量化模型小参数(<10亿)低精度学生模型小参数(<10亿)高精度搜集每层梯度信息、估计量化敏感度搜集每层梯度信息、估计量化敏感度基于量化敏感度确定量化步长使用确定的比例和级别进行量化反量化方法将推理结果转换回浮点数w=s·(q-2)Rong,AijunYang,XiaohuaWdistillation[C]//CVPR.202基于提出的基于特征关系保留的知识蒸馏技术与基于梯度精度分析的模型量化技术，有效地解决了Al大模型模型参数高、推理复杂度高的问题。4、部署应用：边缘计算+云边协同单设备单设备状态感知与运维任务可由边缘计算技术本地高效完成；对于变电站层的状态数据处理，需要云边协同技术，各边缘终端在中心服务器的统一调度下，将云端所需数据上传并在云端实现战级状态综合的感知、诊断与预测。边缘计算边缘计算载入并构建计算图算子描述、计算图解析Block重构、数据重载计算图分析、优化、融合后端算子接入与硬件运行CUDA推理框架API推理框架Runtime华为昇腾完善的算子支持，包括CPU、NPU等多种后端实现推理SDK开发简单、新算子、后端扩充技术门槛低模型模型NPU模型模型纪瑞芯微芯片云边协同云边协同自适应负载均衡与资源管理优先级动态任务调度算法提供优先策略要求下发同步边缘计算设备任务调度高效执行推动高性能多模态大模型在真实电力场景大规模落地应用23/37电力装备多模态大模型的应用>>随着用户规模和业务复杂度的提升，电网公司面临海量客服需求，传统人工客服难以满足高效响应和全天候服务的要求。而现有通用模型缺乏电力领域的专业知识，处理用电客户实际问题能力较弱。突发突发紧急构建面向客服系统全天候服务×成本高昂解决多语种支持(一致性差(电力客服很抱歉，我并不了解电力客服咨询问题电费77费缴纳，详细信息建电费77用户中国电工技术学会证书项目名称：基于人工智能语言大模型的电力智能客服原统研究及共应同用户中国电工技术学会证书项目名称：基于人工智能语言大模型的电力智能客服原统研究及共应同电C：您无需担心，正常情况下，几十分钟至几个小时之内电力系统就会恢复供电，具体如果您还有任何问题，可以咨询电C：完成单位；西安交通大学电气工程学院项汗成贤：王小华、荣命哲祝金国，罗海浓。2024年2月07日很抱歉听到您遇到了停电的问题。导致家中突然停电的原因可能有多种，以下是一些常见的原因及处理建议2024年2月07日●电力公司供电故障：可能是由于电力公司进行设备检修、线路故障或…..●家庭内部电路问题：家中的断路器可能因过载或短路而自动跳闸。很抱歉听到您遇到了停电的问题。我暂时无法分析出停电故障的原因。您可以通过以下的步骤进行排查，找到问题的来源。如果您有任何新问题，请及时告诉排查的步骤有：检查是否仅家中停电，检查家中电路，咨询社区人员……如果以上方法都没有解决您的问题，请你咨询当地的供电公司。中面向电力设备运维的人工智能大规模语言模型关键技术及其应用研究.第十九届中国电工技术学会学术年会.2024年9月多模态感知电力运维助手多模态感知电力运维助手是否有危险是否有危险是监控视频历史信息变电站危险预警运维人员路径规划快速预警响应精准定位故障保障人身安全监控视频历史信息变电站危险预警运维人员路径规划快速预警响应精准定位故障保障人身安全油色谱振动信号身伤亡需求红外图像现场图像红外图像多模态运维安全助手27/37>>现有电力人工智能算法大多为单任务算法，针对不同故障诊断任务需要开发不同的算法模型，研发程序繁琐、成本高、泛化性差；>现有电力人工智能模型处理多模态数据能力较差，难以处理多场景结合的复杂任务。实时交互用户咨询输入图像X语言指令X实时交互用户咨询输入图像X语言指令X₄图像编码器文本编码器投影WH电力多模态大模型f请你根据给定的视频，回答以下问题：1.视频中是什么类型的隔离开关，起到什么作用?2.您好，根据您提供的视频，这是一个三相双臂式隔离开关的运行视频。其中，隔离开关的作用是保证高压电器及装置在检修工作时的安全，起到隔离电压的作用。但是需要注意的是，其不能用于切断、投入负荷电流和开断短路电流，仅可用于不产生强大电弧的某些切换操作，即不具备灭弧功能。根据您提供的视频，隔离开关进行了闭合操作，这意味着该部分电路处于闭合状态，无法进行检修以及运维等相关工作。如需进行运维工作，需要注意遵守相关的规范以及章程、保障工作人员的人身安全。1.视频中展示的是一种户外高压隔离开关。隔离开关主要用于在电气设备检修时，切断设备与电源之间的联系，确保检修人员的安全。同时，它还可以起到电气隔离的作用以便在系统发生故障时能快速隔离故障部分。2.视频中的隔离开关处于“合闸”状态。可以看出隔离开关的触头已经闭合，导电部件连接在一起，说明电路是通的状态。1.视频展示的是户外高压交流35KV真空负荷开关。这种类型的产品主要用于电力系统和工业生产领域，在电路运行过程中进行隔离、切换或保护的2.在视频中可以看到该开关处于闭合的状态这说明它正在正常工作并且能够有效地控制电路的通断情况。同时也可以看到一些红色指示灯亮起，视频感知视频感知Powr/是一个电力圆文大模型手，你可以咨调他任何有关电力语罪的问题，不桐于挑们另一个工作电力客BPowerChit,PowenL可以支持文本和图时两种相态的输入，该损型变持力多场罪的问需咨，中黄文间答、多轮对话，复杂批W等多种功能，上传你的围片和间模型会相据片和文字内容进行推理与回苔.使用方法：本地图片松到：上传你的图片并输入同源，并点出发送输入根型.多轮对话：在模型生成完一次回答酷，你可以续在对话柜内输入内容，模型会根据上下文进行多轮的时话与推理，>时序数据(如电压、电流信号)是电力场景中最基本、最易获取、参考性最大的数据。利>时序数据(如电压、电流信号)是电力场景中最基本、最易获取、参考性最大的数据。利用此类数据可以进行电力场景精细化感知与深度分析。目标：目标：GIS开关任务：分析有无异常情况指令：获取监测视频、获实时监测数据损坏等情况，但UHF信号电力时序数据分析监测模型电力时序数据分析监测模型拓展危险预警拓展危险预警里应用四：电力时序数据分析监测模型用户请你根据提供的电压-时间二元组序列，判断该GIS设备是否存在局部放电缺陷，如果有请你给出对应的类别及判断依据。该设备的UHF特征为您好，根据您提供的提供的UHF特征，我首先调用Python工具绘制了对应的波形曲线如右图所示。1.17V。(2)曲线积分面积为4.87e-10。(3)曲线的上升时间0.003us,下降时间0.1644S。根据以上特征，该GIS设备对应的缺陷类型为悬浮电位。基于给定的电压-时间二元组序列，我们无法直接确定GIS设备是否存在局部放电缺陷及其类别。这些数据点仅表示了UHF信号幅度的变化，但没有提供足够的信号特征(如波形、频谱等)来做出准确判断。要确定是否存在局部放电及其类型，需要更详细的UHF1信号数据以及专业的电气测试分析。因此，建议进一步收集和分析信号数据，或请专家进行对于这个问题，我作为一个AI模型，并不具备直接分析实际物理信号(如电压和时间数据):的能力来诊断GIS设备的局部放电缺陷。然而，通常情况下，局部放电信号会在超高频常短且重复，可能是由于..…时序序列时序序列可视化绘图(可视化绘图(深度感知深度感知绘制出波形图辅助判断，结合原展示出专业的行业知识与可靠的.基于人工智能多模态大模型的高压断路器在线监测与故障诊断系统.第十九届中国电工技术学会学术年会.2024年9月.31/37应用五：新能源发电功率预测、智能调度与评估>>新能源(主要是风力与光伏)发电接入电网比例持续提升，需根据历史气象数据和发电出力数据对时序数据收集时序数据收集短期功率预测前几日发电数据当地天气预报数据未来4小时~3日内发电情况短期功率预测前几日发电数据当地天气预报数据未来4小时~3日内发电情况月际至年际发电数据十气候变化预测数据未来10日~12个月发电情况智能调度与运维后续建设规划与评估