发电企业数据集成与智能分析概要课件

发电企业数据集成与智能分析神华集团北京国华电力有限责任公司科技信息部丁涛2008.5.17发电企业数据集成与智能分析神华集团北京国华电力有限责任公司1信息孤岛、整合与集成信息孤岛：一个企业由于种种原因造成部门与部门之间完全孤立，各种信息无法或者无法顺畅地在部门与部门之间流动信息孤岛的必然性：企业信息化受发展阶段和诸多因素（技术、开发商、标准建设、业务利益等）的制约整合：已经存在孤岛，将孤岛互联互通集成：充分规划系统互联关系，建设期间尽量避免孤岛的产生信息孤岛、整合与集成信息孤岛：一个企业由于种种原因造成部门与数据仓库数据仓库是一个面向主题的、集成的、不可更新的、随时间不断变化的数据集合，它用于支持企业或组织的决策分析处理。面向主题：操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。集成：数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。相对稳定：数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。反映历史变化：数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。数据仓库数据仓库是一个面向主题的、集成的、不可更新的、随时间数据挖掘数据挖掘，又称为数据库中的知识发现，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识；数据挖掘和数据仓库的协同工作，可以迎合和简化数据挖掘过程中的重要步骤，提高数据挖掘的效率和能力，确保数据挖掘中数据来源的广泛性和完整性。数据挖掘技术已经成为数据仓库应用中极为重要和相对独立的方面和工具。数据挖掘数据挖掘，又称为数据库中的知识发现，就是从大量数据中国华信息化愿景要求利用生产实时系统产生的生产历史数据，以及由业务系统抽取的业务指标数据，逐渐形成发电企业数据仓库；并在此基础上，进行机组的性能计算和耗差分析，从而有指导地辅助机组运行优化；基于数据仓库，利用有效分析和数据挖掘，建设辅助决策系统，以期国华整体取得最大经济效益。国华信息化愿景要求利用生产实时系统产生的生产历史数据，以及由企业数据仓库DW(指标数据、实时成本、电网调度、同业生产信息)精益发电系统供应链管理SCM工程项目管理PM财务管理FMIS与人力资源管理HRMIS综合协同行政CPC电厂实时信息企业信息总线(业务集成平台)企业信息总线(业务集成平台)企业信息门户EIP决策支持系统DSS企业资产管理EAM国华电力信息系统结构企业数据仓库DW精益发电系统供应链管理工程项目管理财务管理F发电集团智能分析/辅助决策目的建立综合指标体系，实现有效的指标归集，与各电厂形成对称、透明的信息渠道，并在此基础上，构建对电厂的综合评价体系；对全公司的信息资源实现有效整合，形成全公司的数据仓库，进而在其上进行有效的数据挖掘，抽取其中的知识；利用集中采集的实时工况信息与长期积累的历史运行信息，形成人机良性互动的专家系统；发电集团智能分析/辅助决策目的建立综合指标体系，实现有效的指对同类设备生产运行管理中形成的经验，进行集中归纳整理，形成有效的知识，智能调整检修策略，降低电厂整体的运行成本，新建电厂可以直接利用已经形成的知识，避免重新积累经验，形成国华公司范围的知识优势；对动态多变的电力市场，利用公司积累的成本数据、生产数据、电网负荷需求数据等，基于博弈理论，建设智能动态报价系统，并发挥公司整体优势，实现公司对电网的组合报价体系，提高公司的经营水平。统一规划建设内容管理系统，将长期积累于公司各个时期、各个方面的非结构化数据（以文档为主）有序管理，有效检索，综合利用。对同类设备生产运行管理中形成的经验，进行集中归纳整理，形成有数据是企业资源大型企业的信息和数据是其生存和发展的资源；存储技术的发展，与企业发展密切相关的信息和数据从分散走向集中成为可能；核心数据库、主题数据库以及数据仓库，通过挖掘和分析，为企业领导和核心业务部门提供辅助支持；解决数据一致性和唯一性以统一管理。数据是企业资源大型企业的信息和数据是其生存和发展的资源；数据中心的内容生产实时数据：时间序列数据库业务数据：指标体系与数据仓库行政数据：内容管理CMS综合服务数据：采购系统或内容管理决策数据数据中心的内容生产实时数据：时间序列数据库发电集团数据中心的作用集团公司数据中心是电力企业生产管理、营运、发展的基础平台；是企业应用系统数据交换的平台；是企业信息系统的心脏和信息源；是企业统一信息平台的基础和主要组成部分；包括数据的采集、抽取、处理、存储、挖掘、分析功能。发电集团数据中心的作用集团公司数据中心是电力企业生产管理、营数据中心面向主题的、集成的、相对稳定的、反映历史变化的数据集合。非实时统计数据实时过程数据标准数据访问协议前端展现分析工具基础业务系统过程控制系统数据挖掘、辅助决策数据仓库数据中心面向主题的、集成的、相对稳定的、反映历史变化的数据集发电集团数据中心的必要性-1一批专业管理信息系统的建设，形成各自对基层的条条管理系统；基层电厂建立了一批以本公司企业管理为服务目标的独立的管理系统，形成块块管理系统；这些各自独立的管理应用系统的各数据分散在各应用系统中，缺乏整体效应，形成信息孤岛；两级的业务部门数据来源不一，数据统计和口径不一。发电集团数据中心的必要性-1一批专业管理信息系统的建设，形成发电集团数据中心的必要性-2上下之间，横向业务部门之间难以实现数据有效流动和共享；各类信息数据掌握在个别业务人员手中或孤立系统中，缺乏整体属性，数据容易丢失和对外流失；分散的数据不利于利用各种数据及时对企业发展作综合利用和深层分析，不能实现辅助决策。发电集团数据中心的必要性-2上下之间，横向业务部门之间难以实发电集团数据中心的基础-指标系统指标系统是数据中心的重要部分；规范本部与基层的管理信息界面；指标体系：全公司、各专业（生产、经营、管理等），实现有效的指标归集；减少本部和基层手动填报，实现数据自动化抽取；促进本部与基层的基础数据的完整性和准确性。发电集团数据中心的基础-指标系统指标系统是数据中心的重要部分指标系统要做什么？与各发电公司形成对称、透明的信息渠道，提高数据管理的有效性；构建对各单位、各专业的综合评价体系；提高企业信息资源的共享水平，在指标体系的基础上，对全公司的信息资源实现有效整合，形成涵盖全公司实时、非实时数据的数据仓库；支持企业决策和分析。指标系统要做什么？与各发电公司形成对称、透明的信息渠道，提高指标系统是为什么人的？业务管理者(专业管理部门)：统计报告、分析业务的长期趋势、异常感知、业务策略和模式的分析和确定、业务评价；决策者(公司领导)：企业动态概览；审核者(公司绩效和质量审核部门)：审计、绩效评价、管理过程监控；主题分析者(内外部)：生产、经营、管理等针对特定问题的分析。指标系统是为什么人的？业务管理者(专业管理部门)：统计报告、指标系统与其他系统的关系由业务系统抽取数据管理系统：资产管理EAM、ERP财务、人力资源、可靠性、物流、燃料等；生产过程系统：DCS、NCS、电能量、电网调度等；数据归一化(normalization)后，提供长期存储和前端展现；提供标准化数据交换协议以供外系统利用：基于特定主题的横向分析，如趋势分析、绩效审计等。指标系统与其他系统的关系由业务系统抽取数据指标整合的目标发布全公司可扩展的标准指标集；发布标准的报表集，指标集为全部本部对上和对下报表所需数据的超集；建立有效的数据采集机制(含技术的系统和管理制度)；建立数据大容量、归一化存储；建立适当的、可订制的展现前端工具；建立标准的对外提供数据服务的传输接口协议。指标整合的目标发布全公司可扩展的标准指标集；门户与指标系统的关系实时透明地监控电厂生产与业务，与指标系统无直接关系，而与基层业务系统按需实时地数据交换，如实时过程图、EAM具体工单、值长日志、库存记录等；重要指标数据要基于集中的数据仓库，以实现横向比较、长期的趋势分析和回溯。数据仓库门户基础业务系统过程控制系统门户与指标系统的关系实时透明地监控电厂生产与业务，与指标系统指标整合的前提收集集团业务部门对各电厂的报表需求，抽取指标，标准化报表；对指标集和标准报表下文征求意见；明确要求，对数据内容、质量标准，及相关制度要求；持续的考核。指标整合的前提收集集团业务部门对各电厂的报表需求，抽取指标，指标整合方案建设集中式生产统计系统；直接从各电厂业务系统中进行数据归集；可以满足本部和各电厂的个性需求和不同的数据条件。集中的生产经营统计系统数据仓库A厂业务系统、PI、手工B厂业务系统、PI、手工ERP指标整合方案建设集中式生产统计系统；集中的生产经营统计系统数指标的类型生产统计指标经营统计指标生产实时指标（仅对重要生产实时数据进行归集和集中存储，指标量和时间间隔仅要求满足长期分析使用，暂不要求达到设备故障诊断使用的要求）指标的类型生产统计指标集中统一的指标系统的数据源PI生产经营统计系统BFS++可靠性燃料手工DCSNCS化水煤灰脱硫电能量电网调度财务集中统一的指标系统的数据源PI生产经营统计系统BFS++可靠发电集团智能分析的实施难点动态需求与成熟应用业务化与常态化发电集团智能分析的实施难点动态需求与成熟应用发电集团智能分析的主要技术问题分布式系统数据的统一视图应用基于成熟商品化业务系统的分析模型，以用于快速部署发电行业生产过程的分析应用实时数据的处理与查询优化发电集团智能分析的主要技术问题分布式系统数据的统一视图实施集团化智能分析系统的途径在业务系统建设中考虑，尽可能使用统一的平台，利用门户进行智能分析功能的松散集成统筹建设决策支持系统有商品化的业务系统的基础以成熟的分析性应用为起点业务化的运行机制的建立实施集团化智能分析系统的途径在业务系统建设中考虑，尽可能使用TaoDing

Sci-Tech&ITDepartment

GuohuaElectricPowerCorp.

Tel:+86-10-58133812

Fax:+86-10-58133814

Mail:tao.ding@

2008.5.17TaoDing

Sci-Tech&ITDep28发电企业数据集成与智能分析神华集团北京国华电力有限责任公司科技信息部丁涛2008.5.17发电企业数据集成与智能分析神华集团北京国华电力有限责任公司29信息孤岛、整合与集成信息孤岛：一个企业由于种种原因造成部门与部门之间完全孤立，各种信息无法或者无法顺畅地在部门与部门之间流动信息孤岛的必然性：企业信息化受发展阶段和诸多因素（技术、开发商、标准建设、业务利益等）的制约整合：已经存在孤岛，将孤岛互联互通集成：充分规划系统互联关系，建设期间尽量避免孤岛的产生信息孤岛、整合与集成信息孤岛：一个企业由于种种原因造成部门与数据仓库数据仓库是一个面向主题的、集成的、不可更新的、随时间不断变化的数据集合，它用于支持企业或组织的决策分析处理。面向主题：操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。集成：数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。相对稳定：数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。反映历史变化：数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。数据仓库数据仓库是一个面向主题的、集成的、不可更新的、随时间数据挖掘数据挖掘，又称为数据库中的知识发现，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程，简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识；数据挖掘和数据仓库的协同工作，可以迎合和简化数据挖掘过程中的重要步骤，提高数据挖掘的效率和能力，确保数据挖掘中数据来源的广泛性和完整性。数据挖掘技术已经成为数据仓库应用中极为重要和相对独立的方面和工具。数据挖掘数据挖掘，又称为数据库中的知识发现，就是从大量数据中国华信息化愿景要求利用生产实时系统产生的生产历史数据，以及由业务系统抽取的业务指标数据，逐渐形成发电企业数据仓库；并在此基础上，进行机组的性能计算和耗差分析，从而有指导地辅助机组运行优化；基于数据仓库，利用有效分析和数据挖掘，建设辅助决策系统，以期国华整体取得最大经济效益。国华信息化愿景要求利用生产实时系统产生的生产历史数据，以及由企业数据仓库DW(指标数据、实时成本、电网调度、同业生产信息)精益发电系统供应链管理SCM工程项目管理PM财务管理FMIS与人力资源管理HRMIS综合协同行政CPC电厂实时信息企业信息总线(业务集成平台)企业信息总线(业务集成平台)企业信息门户EIP决策支持系统DSS企业资产管理EAM国华电力信息系统结构企业数据仓库DW精益发电系统供应链管理工程项目管理财务管理F发电集团智能分析/辅助决策目的建立综合指标体系，实现有效的指标归集，与各电厂形成对称、透明的信息渠道，并在此基础上，构建对电厂的综合评价体系；对全公司的信息资源实现有效整合，形成全公司的数据仓库，进而在其上进行有效的数据挖掘，抽取其中的知识；利用集中采集的实时工况信息与长期积累的历史运行信息，形成人机良性互动的专家系统；发电集团智能分析/辅助决策目的建立综合指标体系，实现有效的指对同类设备生产运行管理中形成的经验，进行集中归纳整理，形成有效的知识，智能调整检修策略，降低电厂整体的运行成本，新建电厂可以直接利用已经形成的知识，避免重新积累经验，形成国华公司范围的知识优势；对动态多变的电力市场，利用公司积累的成本数据、生产数据、电网负荷需求数据等，基于博弈理论，建设智能动态报价系统，并发挥公司整体优势，实现公司对电网的组合报价体系，提高公司的经营水平。统一规划建设内容管理系统，将长期积累于公司各个时期、各个方面的非结构化数据（以文档为主）有序管理，有效检索，综合利用。对同类设备生产运行管理中形成的经验，进行集中归纳整理，形成有数据是企业资源大型企业的信息和数据是其生存和发展的资源；存储技术的发展，与企业发展密切相关的信息和数据从分散走向集中成为可能；核心数据库、主题数据库以及数据仓库，通过挖掘和分析，为企业领导和核心业务部门提供辅助支持；解决数据一致性和唯一性以统一管理。数据是企业资源大型企业的信息和数据是其生存和发展的资源；数据中心的内容生产实时数据：时间序列数据库业务数据：指标体系与数据仓库行政数据：内容管理CMS综合服务数据：采购系统或内容管理决策数据数据中心的内容生产实时数据：时间序列数据库发电集团数据中心的作用集团公司数据中心是电力企业生产管理、营运、发展的基础平台；是企业应用系统数据交换的平台；是企业信息系统的心脏和信息源；是企业统一信息平台的基础和主要组成部分；包括数据的采集、抽取、处理、存储、挖掘、分析功能。发电集团数据中心的作用集团公司数据中心是电力企业生产管理、营数据中心面向主题的、集成的、相对稳定的、反映历史变化的数据集合。非实时统计数据实时过程数据标准数据访问协议前端展现分析工具基础业务系统过程控制系统数据挖掘、辅助决策数据仓库数据中心面向主题的、集成的、相对稳定的、反映历史变化的数据集发电集团数据中心的必要性-1一批专业管理信息系统的建设，形成各自对基层的条条管理系统；基层电厂建立了一批以本公司企业管理为服务目标的独立的管理系统，形成块块管理系统；这些各自独立的管理应用系统的各数据分散在各应用系统中，缺乏整体效应，形成信息孤岛；两级的业务部门数据来源不一，数据统计和口径不一。发电集团数据中心的必要性-1一批专业管理信息系统的建设，形成发电集团数据中心的必要性-2上下之间，横向业务部门之间难以实现数据有效流动和共享；各类信息数据掌握在个别业务人员手中或孤立系统中，缺乏整体属性，数据容易丢失和对外流失；分散的数据不利于利用各种数据及时对企业发展作综合利用和深层分析，不能实现辅助决策。发电集团数据中心的必要性-2上下之间，横向业务部门之间难以实发电集团数据中心的基础-指标系统指标系统是数据中心的重要部分；规范本部与基层的管理信息界面；指标体系：全公司、各专业（生产、经营、管理等），实现有效的指标归集；减少本部和基层手动填报，实现数据自动化抽取；促进本部与基层的基础数据的完整性和准确性。发电集团数据中心的基础-指标系统指标系统是数据中心的重要部分指标系统要做什么？与各发电公司形成对称、透明的信息渠道，提高数据管理的有效性；构建对各单位、各专业的综合评价体系；提高企业信息资源的共享水平，在指标体系的基础上，对全公司的信息资源实现有效整合，形成涵盖全公司实时、非实时数据的数据仓库；支持企业决策和分析。指标系统要做什么？与各发电公司形成对称、透明的信息渠道，提高指标系统是为什么人的？业务管理者(专业管理部门)：统计报告、分析业务的长期趋势、异常感知、业务策略和模式的分析和确定、业务评价；决策者(公司领导)：企业动态概览；审核者(公司绩效和质量审核部门)：审计、绩效评价、管理过程监控；主题分析者(内外部)：生产、经营、管理等针对特定问题的分析。指标系统是为什么人的？业务管理者(专业管理部门)：统计报告、指标系统与其他系统的关系由业务系统抽取数据管理系统：资产管理EAM、ERP财务、人力资源、可靠性、物流、燃料等；生产过程系统：DCS、NCS、电能量、电网调度等；数据归一化(normalization)后，提供长期存储和前端展现；提供标准化数据交换协议以供外系统利用：基于特定主题的横向分析，如趋势分析、绩效审计等。指标系统与其他系统的关系由业务系统抽取数据指标整合的目标发布全公司可扩展的标准指标集；发布标准的报表集，指标集为全部本部对上和对下报表所需数据的超集；建立有效的数据采集机制(含技术的系统和管理制度)；建立数据大容量、归一化存储；建立适当的、可订制的展现前端工具；建立标准的对外提供数据服务的传输接口协议。指标整合的目标发布全公司可扩展的标准指标集；门户与指标系统的关系实时透明地监控电厂生产与业务，与指标系统无直接关系，而与基层业务系统按需实时地数据交换，如实时过程图、EAM具体工单、值长日志、库存记录等；重要指标数据要基于集中的数据仓库，以实现横向比较、长期的趋势分析和回溯。数据仓库门户基础业务系统过程控制系统门户与指标系统的关系实时透明地监控电厂生产与业务，与指标系统指标整合的前提收集集团业务部门对各电