人工智能平台建设方案

XX公司20XX年XX月一、背景情况 1 2(一)基本原则 三、人工智能平台总体架构设计 4 5 四、推进思路与演进路线 五、2018年主要任务与计划 (三)典型应用开发、部署及平台功能验证 六、保障措施 (三)工作机制 附录1基于人工智能平台的AI产品试点项目 (一)人工智能在信通领域的试点项目 (二)人工智能在运检领域的试点项目 (三)人工智能在企业经营管理的试点项目 附录2公司人工智能相关项目清单 附件3人工智能平台资金需求表 一、背景情况国务院于2017年7月8日出台《新一代人工智能发展规划》(国发〔2017)35号〕明确人工智能在国家层面的战略态势和地位。同时，国网公司也启动人工智能相关工作，形成《国家电网公司人工智能专项规划》进一步明确国网公司在人工智能方面的发展方向。公司积极落实国网公司人工智能发展专项规划，着力研究突破人工智能关键技术，梳理人工智能应用的发展需求，应用人工智能技术提升公司基础业务水平。XX公司是国网公司“十三五”信息化重点任务SG-ERP3.0企业级信息系统建设的综合试点单位，率先建成融合企业云计算大数据一体化服务平台和全业务统一数据中心的“浙电云”平台，已经累计接入50套业务系统，总数据存储量已超600TB,为公司60多个项目的80多个“互联网+”创新应用提供数据服务支持。不过，公司已有基础设施平台在计算算力及技术支撑上尚不足以应对日益增长的人工智能应用开发需求。为强化人工智能应用基础支撑能力，提升人工智能服务水平，深度支持“大云物移智”高科技应用，公司拟打造以电力系统运营管理为主导的人工智能基础服务平台，加强人工智能应用创新，引导创新应用集聚发展，促进人工智能在电网各个领域的推广，从而构建人工智能完整支撑体系，发展“人工智能+”新模式新业态，为实现国网公司建设具有卓越竞争力的世界一流能源互联网企业的目标提供有力支撑。(一)基本原则1.整体设计，分步实施XX电力以战略的思维、全局的视野将搭建人工智能平台作为公司信息化建设的重要组成部分。为集中有效资源，高效快捷地实现目标，XX电力将统一制定并设计人工智能平台架构，各业务部门按照自己的业务逐步部署进架构，并在部署过程中不断完善人工智能平台各项功能。2.业务驱动，问题导向人工智能平台以支撑当前公司重点业务应用建设为重点，以解决大数据分析类问题为导向，完善各类平台组件与分析算法，提升平台可用性、易用性；同时根据各业务系统自身的业务逻辑，进行数据梳理，模型搭建，最后通过平台训练自己的人工智能模型，然后发布至生产域。3.充分继承，成果复用人工智能平台的搭建工作应充分继承原有工作成果，充分利用全业务统一数据中心已应用的数据模型、数据资源及各类型分析决策应用等已有建设成果；同时各个业务系统的模型进行共享，进行优化。4.运行稳定，业务连续为保障配合人工智能产品的持续推进，保证公司业务以及其他各种重要的功能运营状况稳定，将平台集成为生产环境及开发环境，在业务系统的安全运行和业务连贯性前提下，逐步实现全业务统一数据中心全业务覆盖。(二)建设目标人工智能平台将于2020年底统一规划并建设完成，为各业务部门提供完善的算法库与模型库服务，建立健全平台运营体系，搭设模型共享服务与制度，使研究成果能够推广并孵化出具体产品，最终形成一套从需求产生到生产部署的全过程服务AI研发与运行平台。1.搭建人工智能硬件平台XX电力搭建人工智能硬件平台，由省公司专家组进行统一设计，以全局的视野、战略的高度制定产品模型与架构模型，为各业务部门提供完善的AI产品研发与运行平台。2.完善人工智能算法库及算法引擎开发建设基于已建成的人工智能平台，深化完善人工智能平台的基础服务能力，完善人工智能算法库及算法引擎的开发建设，为各业务系统提供完善的人工智能产品服务。3、建立平台运营体系与成果孵化体系配套人工智能平台，逐步建立高质量的人工智能服务运营管理体系，为面向业务核心的算法和模型服务建立运营团队和细则，同时建立成果共享与成果孵化的全过程管理。4.培育人工智能复合型人才队伍XX电力在搭建人工智能平台建设的同时，注重人才队伍培养，有效聚合各方面的资源，采用学习时间与研究建设同步的模式，逐步扩大公司懂业务、懂算法、懂数据的复合型数据人才，为公司人工智能平台建设和人工智能产品应用奠定坚实的人才基础。三、人工智能平台总体架构设计充分考虑公司信息化发展现状，结合电网业务AI应用的开发特点，对公司的人工智能平台的技术和功能进行总体设计，指导公司人工智能平台建设工作有序开展。人工智能平台为公司电力AI应用的开发及部署运营提供统一的硬件平台及软件支撑服务。人工智能平台由开发区和生产区两个部分组成，总体框架如下图所示：Al应用生产部署区Al应用生产部署区应用开发平台数据服务层本类应用语音类应用图像类应用算子引擎算法库开发区开发框架生供统一的开发运营平台，支撑公司各业务部门人工智能应用的开发工作。智能应用提供生产区部署环境，其位于业务系统的运行环境中。为保证生产区应用的安全稳定运营，人工智能平台的开发区与生产区相互隔离，开发区的开发训练工作对生产区的应用不产生影响。致，但是功能不一致。开发区的硬件平台层主要为项目组提供开发环境，对平台计算算力要求较高。生产区的硬件平台层面向生产，对稳定性要求高。一致，但是功能不一致。开发区的数据服务层的数据根据项目要求从生产区抽取支撑人工智能应用开发。生产区的数据为企业生产经营产生的数据，作为人工智能应用的输入，支撑企业运营。(一)开发区架构设计人工智能平台的开发区为人工智能创新应用的开发训练提供硬件平台及软件支撑。开发区由基础设施层、数据服务层，AI应用开发平台及平台管理工具四个部分组成，总体框架如下图所示：N应用开发平台数据服务层N应用开发平台数据服务层基础设施层电力Al应用测试算法库LTSMKNNSVM算法库管理工具系统安全管理统一数据接口服务全业务统一数据中心管理软件硬件设施资源调度管理图2.人工智能平台开发区总体架构1、基础设施层基础设施层主要由硬件设施及管理硬件设施的基础软件组成。硬件设施由搭载GPU/CPU的服务器、存储及网络几个部分组成。基于神经网络等人工智能计算方法将耗费大量的计算资源，普通CPU服务器效率将十分底下，所以需要购置一批配置搭载GPU的服务器。搭载CPU的服务器主要用于资源调度、常态运营等对计算算力没有过高要求的应用场合。GPU与CPU服务器的组合管理将实现计算资源的优管理软件主要用于对服务器、内存及网络进行管理。硬件管理软件主要包括：操作系统、存储管理、应用管理、集群管理、负载均衡等。数据服务层为人工智能应用的开发提供数据服务。其首先由业务部门向全业务数据中心提供数据申请，得到需要开发、训练及测试的生产运营数据，同时通过清洗、加工及格式转换等预处理工作，经由统一的API接口为人工智能应用的开发提供数据服务。资料库一方面包括人工智能行业内部的一些标准数据，另一方面也包含电力行业内部逐步积累建立的标准数据。标准数据由诸如打标好的图像、语音数据等数据组成，其可助力于同类人工智能应用的开发。资料库的建立为人工智能产品开发提供助力，借助人工智能领域内部的一些共享数据，加速人工智能产品的开发产出。随着人工智能产品的不断开发累积，电力行业的专用资料库将不断扩充完备。统一数据接口服务是基于全业务统一数据中心全业务、全类型数据的业务服务化能力框架，借助多维数据模型及配套技术组件等工具的支撑，以API的形式为人工智能应用等需求提供统一的对外数据服务。4、Al应用开发平台AI应用开发平台主要提供AI应用的开发、训练及测试的平台，包括深度学习等AI模型参数的训练以及AI产品的性能测试等。AI应用开发平台由应用开发框架、算法库应用开发框架能够为AI应用开发者提供大量的服务及框架以简化开发流程，减轻AI应用开发者的开发工作量，极大缩短电力AI应用的开发周期。应用场景，各类人工智能应用开发框架也不断出现。在深度学习领域，常用的人工智能开发框架包括TensorFlow、Caffe及CNTK等。在统计推理预测领域，常用的人工智能系，支撑电力AI应用的开发。算法库是人工智能算法的集合。在人工智能领域，它普遍包含了机器学习、知识图谱、自然语言处理、人机交互、计算机视觉、生物特征识别、AR/VR七个关键技术。针对这些关键技术下面的一系列具体问题，研究者相对应地提出了一系列的解决方法，这些方法集合组成了人工智能平台的算法库。算法库是人工智能产品开发的基元，完备的人工智能算法库将有效支撑人工智能产品的开发。电力领域的人工智能算法库由针对各类共性技术的基础算法库与针对电力领域的专用算法库两部分组成，其建设过程是一种不断更新完备的过程。共性技术的基础算法库主要从各类开源算法库中获取。电力领域的专用算法库一部分能够专门针对大众的需求建设一批，另外一部分则从各个AI产品的开发过程中不断沉淀完善。算子引擎为由一部分公用的算法组件及数据组成实现特定功能的算法模块，其为针对某一类产品开发而成的集成模块。例如，当杭州公司基于人工智能技术开发一套智能负荷预测应用以预测杭州地区的负荷情况，其能够沉淀成负荷预测的算子引擎。当宁波公司同样想开发一套类似的应用时，其能够直接应用杭州公司的算子引擎，配置相关参数，大大提升开发效率，节约开发成本。(二)生产区架构设计人工智能平台的生产区主要为人工智能创新应用提供部署的生产环境，其直接应用于业务系统的运行。生产区由基础设施层、数据服务层，AI应用部署区及管理工具四个部分组成，总体框架如下图所示：管理工具管理工具系统安全管理全业务统一数据中心管理统一数据接口服务管理软件硬件设施数据服务层基础设施应用用部署区资源调度Al应基础设施层主要为企业“浙电云”平台相关硬件设施相对应的硬件管理软件均已具备，当前尚缺少一批搭载GPU的硬件服务器。搭载GPU的硬件服务器主要为对于计算算力要求比较高的人工智能图像流处理等应用，搭载普通CPU的硬件服务器主要应用于处理一般人工智能应用。GPU与CPU服务器的混合使用将使得资源得到优化配置。数据服务层主要为人工智能应用的运行提供数据支撑。数据从全业务数据中心中获取，同时对业务数据进行清洗、加工及格式转换等预处理工作，经由统一的API接口为人工智能应用提供数据服务。全业务统一数据中心为企业数据提供定义、存储、分析的统一规划和管控，实现企业全量业务数据汇集、全业务数据的统一存储和数据分析统一服务。全业务统一数据中心存储的主要为电网的生产运营数据。结合XX现状，全业务统一数据中心已经为电网的日常运营提供数据服务，数据清洗、加工的治理工作也在同步进行，统一数据服务XX电力也正在规划建设。平台管理工具主要辅助人工智能平台的管理、运营等功能，包含系统安全管理、资源调度管理、租户管理、成效评价等工具。基于XX电力“浙电云”平台及全业务统一数据中心的建设基础，系统安全管理、资源调度管理、租户管理、等管理工具均已具备。针对人工智能产品的特点，人工智能产品的成效评价，资源分配等功能还需要进一步通过一些小工具进行完成，这部分功能将进一步完善。4、Al应用部署区AI应用部署区主要用于部署开发完成的AI应用。在部署区中，相同类型的应用放置于同一片区域，将有助于资源的管理与配置。(一)推进思路人工智能平台立足服务于省公司“一起两翼”战略布局和公司生产经营实际需求，依据电网公司平台统一、应用项目化建设现状，人工智能平台建设需要统一顶层设计与物理构建，逐步完善算法库与模型库的种类与数量，同步建设基于技术全过程的支撑工具，同时管理及运营机制同步配套部署的策略推进思路。(二)演进路线人工智能平台的建设不能一蹴而就，应在统一规划、设计的基础上，分阶段、分步骤积极稳妥推进。计划按照三年左右时间完成人工智能平台建设的整体工作要求，结合公司信息化应用及支撑保障现状，人工智能平台建设分为总体设计及基础平台建设、技术结构优化及平台全面建成、平台全面推广三个阶段，分步实现公司人工智能平台建设及人工智能应用的开发。1、总体设计及基础平台建设(2018年)细化人工智能平台建设总体设计方案，搭建人工智能基础硬件平台，迁移公司现有的数据服务层及管理工具中的相关组件至硬件平台上，建立初步的人工智能开发框架、算法库及资料库，形成基础人工智能应用开发平台。梳理电网业务应用要求，开展典型业务应用试点开发与部署的实现，确保人工智能平台能够满足企业人工智能应用开发性能要求。2、技术结构优化及平台全面建成(2019年)进一步优化完善平台的设计方案，扩展人工智能硬件服务器集群规模，建成功能完备的数据服务层及平台管理工具组件，逐步完善算法库、资料库及开发框架的建设，逐步建立典型应用场景的算法引擎，建立成熟的人工智能平台应用管理体系，形成功能完备的企业级人工智能服务平台。开展跨专业、多数据类型的复杂人工智能试点应用开发，鼓励业务系统基于所建平台进行人工智能的产品研发及部署。年及以后)全面推广人工智能平台，助力公司人工智能应用的研究与开发，为企业创新应用开发提供重要支撑。同时，加强平台上所开发应用的算法库、资料库及算子引擎的沉淀积累，使得业务应用研发反哺助力平台服务能力提升，最后打造具有电力特色的人工智能服务平台。五、2018年主要任务与计划根据人工智能平台建设规划安排，2018年公司人工智能平台的建设任务主要包括以下四个方面：(1)人工智能平(一)平台基础设施初步搭建平台架构。根据所设计的架构，对GPU、服务器等平台主要2018年4月完成平台硬件的选型和验证，2018年5月完成(二)数据服务层、平台管理工具及人工智能应用开发主要时间点：2018年6月至月完成已有数据服务层应用软件及管理工具组件的迁移工作，编写2018年7至8月完成人工智能基础算法库及资料库的建设。(三)典型应用开发、部署及平台功能验证广泛调研各业务部门的应用需求，选取文本、语音及图像识别等典型应用场景作为人工智能平台功能验证的试点项目。根据平台功能架构，设计典型应用场景的开发方案。在人工智能平台上对典型应用场景进行开发，将开发完成的人工智能典型应用部署至生产区进入实际应用。分析应用开发、部署的整个流程，评估人工智能平台功能的合理性，细化平台建设方案的总体设计，最终形成人工智能平台详细设计方案。主要时间点：2018年8月调研各业务部门应用需求，选取若干典型场景完成人工智能应用开发方案的设计。2018年9至12月，基于所搭建的人工智能平台完成人工智能典型应用开发、部署。2019年1月完成人工智能平台功能评估，细化平台设计的总体设计方案，完成人工智能平台详细设计方案。(四)人工智能平台开发流程宣传培训编写人工智能平台介绍教材、开发流程教材以及平台操作指南，向各业务部门宣传人工智能平台的主要功能，介绍人工智能平台的基本架构，培训人工智能平台的主要使用方法。及培训教材的编写，2019年3月完成人工智能平台向各业(一)组织保障(二)资金保障核心力量，结合XX电力当前现状，开展人工智能平台物理2018年，人工智能平台建设涉及硬件设备采购、部分2018年，人工智能平台建设涉及硬件设备采购、部分软件采购以及开发实施人员等费用预估如下：15台管理节点服务器：15台管理节点服务器：15台*3.67万/台=55万30台计算节点服务器30台计算节点服务器(120张GPU卡):30*11.5万/台=375配置)配置)15套及以上基础算法：15套*8000元/人/天*20人/天=24010套及以上数据集：10套*7000元/人/天*10人/天=70万总计预估为1379.6万元。注：2018年详细费用组成大致预估见附表三。(三)工作机制为保障各项工作协同开展，牵头业务部门组织各自领域专项小组进行集中办公，确保按照国网要求和任务试点高质量完成相关工作。建立标准化常态管控机制，强化全过程管理，各专项小组应该建立协同工作机制，加强分项业务牵头部门与配合部门、业务人员与技术支持人员的沟通联系。强化信通公司等单位的技术支撑作用，围绕公司人工智能等新技术的发展需求，加强技术研发攻关，快速形成技术创新和支撑能力。培养公司自己的人工智能等新技术应用复合型、创新型人才，锻造一支引领人工智能等新技术发展的人才队伍。附录1基于人工智能平台的AI产品试点项目(一)人工智能在信通领域的试点项目随着电力信息化建设的推进，信息系统覆盖面越来越广，不同信息系统架构千差万别，信息系统之间集成关系错综复杂。传统的IT运维方式，很难对各个信息系统的运行状况进行评价，故障定位及故障范围难以分析。采用深度人工智能技术对信息系统应用、网络、硬件等层面的日志进行分析，发现不同逻辑层级之间的关联关系。分析可能导致信息系统故障因素，帮助故障影响氛围确定。对故障日志进行聚类判别，找出常见故障类型和原因。帮助运维人员故障定位。同时，采用模糊神经网络的方法建立适用于不同架信息系统的构弹性健康系统评价指标体系。帮助运维人员发现存在的故障风险。(二)人工智能在运检领域的试点项目一、现状分析随着国网智能运检管控平台的部署上线，基于运检管控实际需求出发，当前对远程感知大电网中各种设备运行工况及对设备本体、检修作业的实时精准状态评价日益强化的要求尚存在差距，主要表现在以下情况：日常巡视/巡检操作缺乏全程实时管控，巡检数据难以实时同景感知共享给智能运检管控平台；远程协助和督导现场人员作业较为不便；作业危险系数大，但是众多职能部门协同合作的施工组织设计、交底、现场踏勘，包括方案可行性评估的手段和方式较为落后，效率低，信息的交互和传递难以适应紧张的工作节奏。当前XX电网3400余台110kV及以上主变的试验数据均已经进入PMS2.0系统。同时当前XX电网当前已经搜集整理变压器故障案例300余份，并全部完成结构化处理；XX历史变压器处置方案汇编接近30起。主变设备异常和故障处理经验，多数存在纸质文件，或专家大脑经验，没有形成有效的知识库，进一步帮助现场人员和平台监控人员进行有效决策。1、构建变压器设备智能知识库体系，为智能运检管控平台提供辅助决策服务，提升人员设备异常和故障处置能力，并能够依托该技术框架进行复制扩展；2、通过WEB和APP前端数据采集，结合平台核心AI大脑引擎，建立智能运检知识库数据沉淀和持续优化的闭环体系，知识库具备不断自学习完善能力；3、通过本项目实施，进一步提升变压器状态异常和故障处理能力，提升设备运维检修效率，降低电网运行风设备状态全面监视作业现场人员能力全面平们保障支撑图1.业务架构在业务管控域中的业务领域，有常规的业务和临时突发任务，本次项目聚焦在突发临时任务。突然任务中在输电系统中，变压器是最重要的核心设备，所以本次选择以变压器为主体的，在其发生故障或运行异常缺陷时的，全流程相关的任务如何产生、如何决策、如何处理的AI智能应用。具体包含如下两种类型的变压器异常和故障：1.变压器故障：包含短路和非短路类型。2.变压器缺陷中的变压器紧急和重要缺陷，包含：1)能够直接在线监测缺点报警的类型：局放、DGA、接地电流、油温；2)运行人员通过APP现场录入的缺陷。缺陷故障发生缺陷故障发生指挥中心决策现场作业决策缺陷故障处置从业务流程来看，数据输入包括调度跳闸与异常告警、在线监测、现场巡视记录、试验数据记录等；从系统架构上来看，数据来源于各类业务系统，以管控平台现有数据为主，外加接入调度系统、辅控专网等系统的数据。信息抽取推荐案例库标准导则上图是具体实现技术架构，该技术架构中，如何构建运检变压器异常和故障知识图谱的技术实现过程，主要包含信息抽取和知识图谱构建，搜索推荐两个部分。(三)人工智能在企业经营管理的试点项目电力财务系统中存在大量的火车票和发票票据图片资料，在过去的报销系统流程中，这些图片资料的关键信息提取是通过财务人员自己在系统中的手动输入完成的，现在因为人工智能技术的进步，我们能够通过AI系统来提取报销图片中的关键信息，完成自动的报销审核。为了达到自动化审核的目标，我们引入人工智能图像文字信息提取模型OCR,并设计了自动化审核AI流程。票据图片采集票据图片采集自动化审核Al后端容器云管平台图1、自动化AI审核流程自动化审核AI的系统使用分三个部分，首先由业务人员通过手持APP在前端进行图片采集或者直接采用员工提交上来的票据图片，然后发送至自动化审核AI暴露出来的API接口，最后通过容器云管平台来最大效率调度和编排资源，减少计算硬件投入，满足我们对于系统高并发和高可用的设计。针对火车票需要提取的关键数据是：出发站，终止站，时间，票价，票价档次，姓名。针对发票需要提取的关键数据是：税率，金额，我方纳税人识别号，单位名称，对方纳税人识别号，单位名称，发票编号，发票代码。根据该自动化审核AI流程，设计功能模块如下：(1)票据识别后端模块：通过深度学习OCR