moDT企业信息化的基石

OMDT－企业信息化的基石单位：时间：MODT－企业信息化的基石单位:北京芳草元源数据技术一、企业信息系统现状二、传统思想的企业信息系统集成〔传统思想集成〕三、互联网＋思想的信息系统集成〔新思想集成〕四、MODT在企业信息系统集成中的作用五、芳草MODT的特点六、MODT和传统的数据仓库的比较MODT－企业信息化的基石一、企业信息系统现状经过几十年的建立，多数企业都建立了适宜企业消费和管理的信息系统，如：CAD、CAM、CAPP、CAE、PDM、ANSYS、MES等工业消费软件，和OA、ERP、CRM、HR等工业管理软件，这些信息系统在企业的消费、加工、实验、工艺、模型、规范、规范、图纸、产品知识库、人力资源、财务、技术、办公等领域，发扬了艰苦作用。一、企业信息系统现状门户安全CAD数据1CAE数据3CAM数据2MES数据4HR数据6ERP数据5OA数据7……其它硬件网络计算机辅助设计计算机辅助制造计算机辅助工程制造机制企业资源方案人力资源办公现存信息系统构造图一、企业信息系统现状企业现有信息系统的困惑系统开发、上线时间各异各业务系统开发商不同1、各业务系统独立采用的技术、方案各有所长采集的数据分别标识各业务信息系统的数据标识不一致各业务信息系统分别采集数据一、企业信息系统现状企业现有信息系统的困惑2、数据反复采集数据标识不一致数据或没有规范，或标准不一致提供支持效力的公司不一样一、企业信息系统现状企业现有信息系统的困惑技术方案及软件不一致3、互联共享遇到瓶颈一、企业信息系统现状二、传统思想的企业信息系统集成〔传统思想集成〕三、互联网＋思想的信息系统集成〔新思想集成〕四、MODT在企业信息系统集成中的作用五、芳草MODT的特点六、MODT和传统的数据仓库的比较MODT－企业信息化的基石二、传统思想的企业信息系统集成〔传统思想集成〕1、现行信息系统集成的思绪现行的企业信息系统的集成，大多是“上下整合〞的思绪。“上整合〞“下整合〞是经过云计算技术，把企业信息系统所需求的硬件设备和根底软件整合起来，减少通用软硬件的反复，降低投资本钱，在硬件、网络和根底软件方面，实现了有效一致。是企业运用信息系统层面的整合，经过在各运用信息系统之上搭建平台，实现各业务信息系统的协同。二、传统思想的企业信息系统集成〔传统思想集成〕2、现行信息系统集成方案图门户安全其它网络CAD数据1CAE数据3CAM数据2MES数据4HR数据6ERP数据5OA数据7……计算机辅助设计计算机辅助制造计算机辅助工程制造机制企业资源方案人力资源办公云计算平台整合平台二、传统思想的企业信息系统集成〔传统思想集成〕3、现行信息系统集成方案的困惑〔主要来自上整合〕运用系统多且复杂，梳理难度大原信息系统开发单位多，协调有难度原信息系统数据标识不致，一致难度大整合任务量大资金需求大〔普通都在1000万以上，或更多〕有能够将原信息系统推倒重来一、企业信息系统现状二、传统思想的企业信息系统集成〔传统思想集成〕三、互联网＋思想的信息系统集成〔新思想集成〕四、MODT在企业信息系统集成中的作用五、芳草MODT的特点六、MODT和传统的数据仓库的比较MODT－企业信息化的基石1、新思想集成思绪互联网＋思想的企业信息系统的集成，即新思想集成的思绪是：“下下整合〞。第二个“下整合〞第一个“下整合〞与传统思想的集成根本一样，是经过云计算技术，把企业信息系统所需求的硬件设备和根底软件整合起来。是企业运用信息系统层面的整合，但是，整合的不是各业务信息系统，而是支撑业务信息系统的元数据。经过一致定义标识各运用信息系统的元数据，实现各业务信息系统的协同。三、互联网＋思想的信息系统集成〔新思想集成〕三、互联网＋思想的信息系统集成〔新思想集成〕2、新思想集成方案框架图网络门户安全其它CAD数据1CAE数据3CAM数据2MES数据4HR数据6ERP数据5OA数据7……计算机辅助设计计算机辅助制造计算机辅助工程制造机制企业资源方案人力资源办公MODTAPPAPPAPPAPPAPPAPPAPPAPPAPP……CPS云计算平台门户安全CAD数据1CAE数据3CAM数据2MES数据4HR数据6ERP数据5OA数据7……其它硬件网络计算机辅助设计计算机辅助制造计算机辅助工程制造机制企业资源方案人力资源办公现存信息系统构造图〔信息系统没有集成〕现行信息系统集成方案图门户安全其它网络CAD数据1CAE数据3CAM数据2MES数据4HR数据6ERP数据5OA数据7……计算机辅助设计计算机辅助制造计算机辅助工程制造机制企业资源方案人力资源办公云计算平台整合平台三、互联网＋思想的信息系统集成〔新思想集成〕3、新思想集成方案的特点1234将信息系统的集成内容由系统整合转为数据整合将集成途径由“上整合〞转为“下整合〞新思想集成方案的中心部分由：云计算、CPS、MODT、原业务系统、创新APP、门户等六部分组成。将数据集成方式分为两层：自动化层和信息化层自动化层由CPS〔信息物理系统〕一致完成信息化层由OMDT〔源元数据〕一致完成三、互联网＋思想的信息系统集成〔新思想集成〕4、新思想集成与传统思想集成的比较1234保管了企业的原信息系统，防止推倒重来给企业消费管理带来的损失一致了企业自动化层面和信息化层面的数据，加快了企业信息系统集成的进度适度内部开放的企业根底数据，使企业新系统开发更便利，使基于互联网＋的运用开发成为能够。企业原信息系统的整合，和新信息系统的开发本钱，将大幅度降低。〔1000万以下〕一、企业信息系统现状二、传统思想的企业信息系统集成〔传统思想集成〕三、互联网＋思想的信息系统集成〔新思想集成〕四、MODT在企业信息系统集成中的作用五、芳草MODT的特点六、MODT和传统的数据仓库的比较MODT－企业信息化的基石四、OMDT在企业信息系统集成中的作用1、MODT是什么？MODT――MetaOriginalDaTa，元源数据其中：◆MetaDaTa，元数据，是对原始数据进展解释的数据◆MODT，元源数据，专指对原始数据的一致资源描画通俗地讲：◆MODT，包含元数据，或原始数据的数据字典可以表征原始数据四、MODT在企业信息系统集成中的作用2、OMDT在信息信息系统集成中的作用处理了数据一致的标识问题处理了数据一致采集的方法创新了企业信息系统集成的思绪降低了企业信息系统集成的本钱加快了企业实现智慧车间、智慧工厂的进程MODT在信息信息系统集成中的作用为企业顺应互联网＋的工业消费环境，提供了转型和创新开展的数据支撑一、企业信息系统现状二、传统思想的企业信息系统集成〔传统思想集成〕三、互联网＋思想的信息系统集成〔新思想集成〕四、MODT在企业信息系统集成中的作用五、芳草MODT的特点六、MODT和传统的数据仓库的比较MODT－企业信息化的基石五、芳草MODT的特点芳草MODT是北京芳草元源数据技术，根据“海量非构造化数据管理规范〞，开发的顺应企业信息系统集成在源数据采集、定义、分类、管理方面的软件产品。该系统实现对多源异构数据的一致集成管理，支持海量多源异构数据上的查询分析，分别经过合成数据集和真实数据集的测试，是国家863工程的成果之一。1、芳草MODT五、芳草MODT的特点2、芳草MODT的系统架构〔一〕由原始数据抽取元数据并上传数据集成效力器数据校验、填充度检查，数据解析元数据管理系统数据加载和导入原始数据存放于源系统数据访问接口数据访问接口数据访问接口数据访问接口五、芳草OMDT的特点2、芳草OMDT的系统架构〔二〕查询恳求查询结果汇总分布式查询引擎原始数据存放于源系统数据访问接口数据访问接口元数据管理系统子节点维护概要图和统计信息访问恳求/结果五、芳草MODT的特点3、芳草MODT的技术方案〔一〕运用元数据描画异构的原始数据元数据格式：xmlDTD对异构的原始数据进展一致的资源描画规范原始数据的类型视频、文本、网页、图片、传感器数据等原始数据的存储管理方案关系型(mysql,oracle等)非关系型(hadoop,hive,spark等)五、芳草MODT的特点3、芳草MODT的技术方案〔二〕基于元数据的多源异构数据集成方案元数据抽取源系统自动抽取触发器日志解析被动抽取数据访问接口五、芳草MODT的特点3、芳草MODT的技术方案〔二〕基于元数据的多源异构数据集成方案元数据集成运用数据上传工具--定时上传、数据更新时上传自动校验、解析、加载五、芳草MODT的特点3、芳草MODT的技术方案〔三〕面向海量数据的分布式查询系统五、芳草MODT的特点4、芳草MODT的特征〔一〕对多源异构数据的支持存储在不同地域、不同数据管理系统的数据不同领域、不同构造的数据元数据自动集成上传、校验、解析、加载和管理五、芳草MODT的特点4、芳草MODT的特征〔二〕良好的可扩展性数据规模系统集群松耦合式的数据管理不改动原始数据无需拷贝原始数据数据加载时间短五、芳草MODT的特点5、芳草MODT的性能〔一〕数据集成系统：平安性不改动原始数据各源系统自定义并实现原始数据访问接口集效果率数据上传--网络带宽数据解析--多线程+定时器数据加载--运用HTTP协议五、芳草MODT的特点5、芳草MODT的性能〔二〕分布式查询引擎：容错性--系统的可用性元数据分布式存储于集群的HDFS，数据自动备份集群中子节点的维护〔新增、删除、形状监控〕存储才干目前系统管理10亿条真实web元数据分布式查询引擎支持TB级别元数据的查询分析检索效率精准搜索0.1s内五、芳草MODT的特点6、芳草MODT的部署环境8~20个机器节点，其中一个master节点，其他为slave节点。Master节点起到协调调配作用，不作为存储数据的节点。下面是单个节点的硬件和软件配置。硬件配置：CPU：Intel(R)Core(TM)2DuoCPUT7700@2.40GHz;处置器：4核;内存：32GB;硬盘：720GB软件环境：操作系统：CentOS6.4；Hive1.1.0;Presto0.6.2;FusionDB1.0一、企业信息系统现状二、传统思想的企业信息系统集成〔传统思想集成〕三、互联网＋思想的信息系统集成〔新思想集成〕四、MODT在企业信息系统集成中的作用五、芳草MODT的特点六、MODT和传统的数据仓库的比较MODT－企业信息化的基石五、芳草MODT的特点六MODT和传统的数据仓库的比较数据仓库1.面向主题：针对某一种业务就要建立一个数据仓库。不能快速顺应变化，传统的数据仓库业务主题是较少变化的，其应对变化的方式是对数据源到前端展现的整个流程中的每个部分进展修正，然后重新加载数据，甚至重新计算数据，导致其顺应变化的周期较长。因此在大数据时代，分析处在变化的业务环境中，数据仓库的方式将难以顺应新的需求数据大量反复，不同的业务系统要有本人的一些数据仓库，在很多的业务的数据仓库中的数据有很多的反复。五、芳草MODT的特点MODT和传统的数据仓库的比较数据仓库2.数据迁移代价大：在数据源层和分析层之间引入一个存储管理层，可以提升数据质量并针对查询进展优化，但也付出了较大的数据迁移代价和执行时的衔接代价五、芳草MODT的特点MODT和传统的数据仓库的比较数据仓库3.存储容量的限制：数据量在不断变化，能够会由TB级升至PB级，并仍在继续爆炸式增长，而传统的数据仓库的容量是有限的。4.系统的硬件本钱：硬件平台的变化，传统的数据仓库部署在高端效力器上。一旦数据的添加势必要添加高端效力器。高端效力器的价钱相当高。而由中低端硬件(甚至普通的pc机)构成的大规模机群平台，本钱那么大幅度的降低，现今企业越来越多将运用层由高端效力器转向了由中低端硬件构成的大规模机群平台五、芳草MODT的特点MODT和传统的数据仓库的比较数据仓库5.高负载下查询速度：在大量数据，访问人数多的情况下