智慧矿山数字化工业大数据平台建设方案

智慧矿山数字化转型工业大数据平台>智慧（煤矿）矿山建设指南为贯彻落实国家发展改革委等八部委联合印发的《关于加快煤矿智能化发展的指导意见》（以下简称“指导意措研究》等国家相关政策，加快我国煤矿智能化建设，推动煤炭行业高质量发展，特制定本指南。本指南是促进智能化煤矿建设、行业技术进步和规范发展23管理层需要业务数据时，经常需要软件商配合，用户无法及时获取并提供数据。二是数据无法目前从业务系统中获取数据到进行精准决策数据分析需要T+N天，并且数据指标维度不全面。（4）缺乏全集团统一的数据标准。煤矿智能化（数字矿山/智慧矿山）是煤矿综合自动化发展的新阶段，是煤炭工业高质量发展的核心技术支撑。建设智能化煤矿是新时期煤炭企业面临的重要任务，是煤矿企业数字化转型的基础，已成为不可逆转的发展趋势。企业业务系统多，系统烟囱式建设，数据接入困难，数据标准不统一，数据孤岛问题严重。数据获取难数据获取难数据时效性差数据无法共享数据无法共享数据缺乏标准数据缺乏标准>煤炭企业大数据平台（数据中台）价值4数据应用开发：月/年数据资源：不可复用数据应用数据资源数据应用开发：天/周数据资源：可复用数据应用数据应用数据中台全域数据资源（OneData）后台2n……•新的数据架构下，打破数据壁垒，满足未来运营发展需求5数据价值：低>煤炭企业大数据平台（数据中台）企业数字化转型的基础数据价值：低数据价值：高业务系统数据中台数据BI业务系统数据中台323能力6>煤炭企业业务系统前期调研（1）7>煤炭企业业务系统前期调研（2）>煤炭企业业务系统前期调研（3）8基本情况：5个领导中心、47个业务系统当前煤炭企业业务系统由于没有进行相互集成，系统之间数据没有交互关系，所以本次调研根据所属中心部门进行划分为：“生产技术中心”，“机电运输中心”，“调度指挥中心”，“后勤保障中心”，“安全中心”5个中心领导部门，其中梳理底层业务系统47个，计划上线9个，目前正常使用38个。数据情况：主要以下五种1、SQLServer数据库（安全监测系统、束管防灭火监测等）2、OPC协议（清洗泵房、空压机监控系统）3、Access（电力计量系统、ZKAcess人员刷卡系统）4、MySQL（汽车装车系统、双重预防信息系统等）5、接口对接（非数据库类型、数据获取难）>煤炭企业数据中台业务系统情况9>煤炭企业数据中台业务系统情况门门心心门门>煤炭企业数据中台业务系统情况统统录统>煤炭企业数据中台业务系统情况接>构建统一、融合、智能、高效的煤矿大脑，助力用户逐步建设具有主动感知、自动分析、深度学习、智能决策、科学指挥的智慧型矿山。致力于为煤炭企业构建“全”、“统”、“通”、”智”的（大数据平台/数据中台）体系，基于“数字新基建”时代的数据价值思考，构建全域数字化矿区共享能力中心，助力煤炭企业实现数字化转型，打通底层系统之间数据壁垒，加强公司整体管理和安全生产系数，为运营提供数据统筹模型，实现重点数据实时监控和数据共享开放服务。打通原有业务系统统一煤炭企业统一数据标准数据申请与审核统一数据报表支撑综合管控数据统一治理数据资产管理形成数据字典数据发布直观掌握数据支撑决策分析数据血缘提供决策依据支撑创新应用等>煤炭企业大数据平台（数据中台）大图煤矿运营指标体系煤矿运营指标体系煤矿高风险预警业务数据数据源煤矿全域数据中心--数据中台/大数据平台业务数据数据源数据交换网关数据交换网关外部数据大数据计算平台数据仓库业务数据业务库1业务库n煤矿全域数据中心--数据中台/大数据平台数据交换网关数据交换网关外部数据大数据计算平台数据仓库业务数据业务库1业务库n数据应用数据共享交换平台数据服务总线数据服务总线+业务能力数据开发平台数据开发平台数据治理平台数据治理平台>煤矿企业大数据平台（数据中台）实现目标根据智能化煤矿(井工)分类、分级技术条件与评价标准，切实提升煤矿行业数字化指标，实现智能化煤矿建设。>煤矿企业大数据平台（数据中台）实现目标根据智能化煤矿(井工)分类、分级技术条件与评价标准，切实提升煤矿行业数字化指标，实现智能化煤矿建设。大数据中心的数据服务功能及健全程度评价分项分数=a1+a2+a3大数据中心的数据服务功能及健全程度评价分项分数=a1+a2+a3协议,得0~40分；>智慧（数字）矿山，煤矿企业的发展方向一、数据采集管二、数据治理/数三、数据标准统一四、数据分析/数据理自动化据整合加工流程化化/模型开发简单化使用智能化清洗比对加工、存数据仓库数据库对象存储其他格式数据冲突行覆盖数据接入系统一、全域数据中心建设--数据集成数据仓库数据库对象存储其他格式数据冲突行覆盖数据接入系统采用统一的数据接入模式采用统一的数据接入模式，以标准化、模块化的方式进行多源异构数据资源的接入，解决应急管理信息资源在集中汇聚时面临的分散孤立、源头多样、跨网传输等问题，为应急数据资源的汇聚集中、统一标准化处理和信息资源池构建提供源数据支撑。关系型数据库关系型数据库新型新型NoSQL数据库文件系统文件系统开源大数据平台开源大数据平台其他类型数据源其他类型数据源完全基于B/S用户界面、简单易用晶国产数据库支持--数据集成国产化大数据平台与数据库引擎、消息中间件对接：.金碟/中兴/华为消息中间件：AMQ消息中间件ApusicV9.0、中兴kafka、华为kafka、多源异构数据采集转换--数据集成TeraData、Redis、MongoDB、REST、达梦、南大通用GBase8t、HDFS、HBase、Hive、GreenPlum、华为Hive、华为LibrA等；xml、txt、csv和Excel等格式，支持zip包；.支持Oracledmp文件导入；支持数据加密传输，保证数据传输过程中不泄密。数据/服务资源目录、数据交换中控、数据交换总线、数据交换网关、API服务中控、API服务网关、数据ETL工具。高性能•单节点120MB/S、30万条/秒•支持集群API服务中控数据/服务资源目录、数据交换中控、数据交换总线、数据交换网关、API服务中控、API服务网关、数据ETL工具。高性能•单节点120MB/S、30万条/秒•支持集群API服务中控或•支持自动断点续传•支持断开网络或系统重启后数据不丢失高安全•支持数据传输过程加解密•专利技术实现非侵入式增量数据提取•基于大数据平台支持安全交换高易用•目录驱动的交换•多源异构数据的汇聚、交换•库级交换、汇聚 前置库开放服务前置库开放服务 业务系统 业务系统。。。七大组件数据资源目录/服务资源目录数据资源目录/服务资源目录数据交换中控数据交换中控高可靠 前置库开放服务 业务系统数据标识数据提取数据清洗数据比对结构化数据比对非结构化数据比对结构与非结构化融合比对数据标签表级探查数据过滤字段级探查数据去重数据标识数据提取数据清洗数据比对结构化数据比对非结构化数据比对结构与非结构化融合比对数据标签表级探查数据过滤字段级探查数据去重数据格转数据校验数据探查数据探查结构化数结构化数据提取非结构化数据提取文本数据提取音频数据提取视频、图像数据提取数据清洗即可实现对结构化和半结构化清洗，如对原始库中的数据静态数据清洗，也可以对流数据进行清洗。原始库消息队列离线数据实时消息资源库数据清洗即可实现对结构化和半结构化清洗，如对原始库中的数据静态数据清洗，也可以对流数据进行清洗。原始库消息队列离线数据实时消息资源库离线数据清洗消息队列流式数据清洗过滤过滤去重格式转换校验编码转换编码核验日期值清洗时间值清洗字段长度清洗值域清洗数据清洗组件表标识待标识数据条目标识列标识表标识待标识数据条目标识列标识数据治理数据标识数据标识是利用标签库中已经建设好的规则，对数据进行比对分析和模型计算，将符合规则的数据进行标识，为进一步的数据使用提供支撑，数据标识支持表标识，列标识，数据条目标识。标签引擎标签引擎规则获取规则解析规则执行结果输出标签库标签库1、创建标签类目3、配置标签打标规则2、标签类目中创建标签4、配置引用数据两级可视化数据清洗与挖掘任务工作流清洗任务配置两级可视化数据治理数据管控系统数据管控要实现对数据资源池数据的管理和控制，功能主要有数据标准（数据元）管理、数据字典管理、数据质量管理、数据血缘等。 ..看数据在数据源库、原始库、资源库、主题看数据在数据源库、原始库、资源库、主题数据治理数据标准建设数据标准：数据的标淮(数据元)规范，是对数据类型，通过定义、标识、表示以及允许值等一系列属性数据治理建设过程中要对数据元素进行标准制定、对数据字典进行数据标准体系数据标准体系数据治理数据血缘管理数据治理建设要求实现对数据血缘的管理数据治理建设要求实现对数据血缘的管理，数据血缘管理了数据从哪里来到哪里去的完整链路，如下图所示,通过数据血缘查询可获取主题库“事件事故基本表”从哪些系统融合了数据，又被哪些业务系统所使用数据治理“全链路”数据血缘l一张图看清每个数据的来龙去脉l基于血缘图进行数据质量和数据安全问题溯源、影响分析数据治理数据质量管理体系量ü完整性：主要包括属性缺失、记录缺失、字段缺失几个方面ü合效性：主要包括格式、类型、值域、和业务规则的有效性ü及时性：指数据刷新、修改和提取等的及时和快速性ü一致性：数据含义一致性、数据格式一致性、数据传输不丢失，指统一数据来源、冗余存储和统一口径的一致性ü唯一性：指主键唯一和候选键唯一两个方面，主键重复数据检核，主外键是否缺失检核ü准确性：指计量误差、度量单位等方面的精确度序号表名称表中文名称字段名称字段类型序号表名称表中文名称字段名称字段类型字段注释检查类型检查概述检查sql有无质量问题问题分类问题记录数表总记录数备注1t_yj_tfsj_sb_r突发事件表varchar(64)ID(主键)一致性统计信贷系统和核心系统证件号一致,客户号不一致的记录数。selectcount(*)fromind_infoajoinCUSVDDbona.certid=trim(substr(b.id1,1,32))wherea.customerid<>substr(b.cust_no,8,9)Y一致性:数据不一致217932t_yj_tfsj_sb_r突发事件表TITLEvarchar(64)标题完整性对客户名称进行完整性检查，检查客户名称是否存在空值。selectcount(*)fromCUSVAAajoinCUSMbona.cust_no=b.cust_acct_nowhereb.CUSTOMER_TYPEin('02','03')andtrim(a.NAME)isnull;Y完整性:空值13518对公客户及金融机构客户共135183t_yj_tfsj_sb_r突发事件表TYPEvarchar(64)灾害类型完整性对客户名称进行完整性检查，检查客户名称是否存在空值。selectcount(*)fromMICMajoinCUSMbona.customer_no=b.prim_acctwhereb.CUSTOMER_TYPE='01'andtrim(a.NAME_2)isnull;Y完整性:空值627743对私证件及姓名记录数6277434t_yj_tfsj_sb_r突发事件表REPORT_MANvarchar(64)报送人完整性对开户日期进行完整性检查，检查数据的缺失情况selectcount(*)fromCUSMwhereCREATE_DTisnullorCREATE_DT=0;Y完整性:空值141970320314025t_yj_tfsj_sb_r突发事件表REPORT_TIMEdatetime报送时间完整性对开户日期进行完整性检查，检查数据的缺失情况selectcount(*)fromCUSVCCwhereOPEN_DATE_01isnullorOPEN_DATE_01=0;Y完整性:空值658988659004样例：基于突发事件表五个字段进行一致性和完整性的质量检查及表级数据质量明样例：基于突发事件表五个字段进行一致性和完整性的质量检查及表级数据质量明数据质量统计报告，全局分析数据治理质量情况，了解资源池整体数据质量情况四、大数据计算平台软件大数据计算平台（以下简称采用内存迭代计算技术，集SQL、MR、Graph、ML多种计算能力于一体，可以提供TB/PB级别以上的数据存储和数据分析处理能力。SQL、海量数据存储算法开发数据开发(Studio)全可视化数据/算法开发算法开发数据开发数据开发六、数据服务总线 ...API服务网关API服务网关API服务网关开放服务服务共享中控能力共享平台开放服务开放服务数据库数据库数据库>能力共享平台：以信息目录的形式提供数据及能力展示的窗口，并提供服务检索能力；>服务共享中控：提供服务开发、管理、运维、统计的能力；>API服务网关：提供转发能力，具备服务路由，协议转换，服务流控，插件热加载等机制。对服务的全生命周期进行有效管理管控目标对服务的全生命周期进行有效管理管控目标：服务标准化、服务松耦合、服务可重用、服务透明性及服务可发现通过对服务质量的管控，进而实现对开发商（服务提供者和服务消费者）进行量化管理解决管理难：全面的安全访问防护以用户服务的安全为首要任务，提供多种有ü以RESTfulAPI的方式对外提供间接的数据访问服务，隐藏服务的真实地址，降低ü提供服务申请审批机制，防止未经授权的解决管理难：访问限速控制API服务网关限速器说明：>服务级限速：服务创建时，对外整个服务的阈值限制>应用级限速：应用申请服务时，该服务对该应用的阈值限制高可靠高性能解决使用难：多种协议相互转换高可靠高性能通过API网关，可基于新式资源创建新API服务，然后使用灵活的动态数据/协议转换功能，以目标服务期望使用的协议或语言生成请求。协议转换支持常用协议服务的接入和/catalog/payment/economic能力共享平台↓ 生成API应用M部门2部门N部门M部门2部门N部门M解决使用难：高性能、高可靠、按需扩展等↓ 生成API应用M部门2部门N部门M部门2部门N部门M能力共享平台服务共享中控服务共享中控部门1部门