实时数据中心解决方案

实时数据中心解决方案目录CONTENTS01企业实时数据中心的理解02实时数据中心解决方案03数据平台介绍04成功案例与最佳实践系统数据手工数据外部数据非结构化数据数据存储数据传输数据整合数据生产数据使用系统间数据传输组织间数据传输内外部数据传输系统间数据整合异构系统数据整合实时数据整合结构与非结构数据整合接口数据层整合数据层汇总数据层面准实时数据层数据共享数据分析数据智能数据服务实时数据中心的背景与理解企业实时数据中心——企业将数据视为资产，使其在企业整个组织内便利和有效的流通来，从企业自身数据中充分挖掘价值潜力，最终形成贯穿企业组织间、业务间、产业链伙伴间的完成数据生态系统。实时数据中心-总体目标企业实时数据中心定标准建体系搭平台立应用实现企业自上而下的数据管理规范与标准的顶层设计跨业务、跨组织、跨领域统一标准与规范建设企业经营监管的决策与管控分析体系、多层级、多角色、多领域实现由“数据驱动”的企业经营与管控目标建设企业级的数据管理平台，实现“实时数据中心”的数据生产、数据传输、数据采集、数据整合、数据存储全过程，为数据应用奠定平台基础实现知识共享、监控预警、运营评价、决策分析、数据智能、数据服务等多种数据应用方式，满足“用户至上”的企业要求技术业务管理数据驱动数据管理规模：GB-〉TB、PB数据管理类型：行存储、列存储-------------------------------------数据服务：DaaS数据挖掘：OLAP、DM、机器学习、R、Spark-------------------------------------数据集成：ETL\ELT、实时、MDM数据采集：ERP、CRM、在线、移动商业模式创新--------------------营销策划流程绩效优化------------------分析决策指标监控思想、思维、文化--------------------数据架构数据标准数据质量数据服务实时数据中心-数据驱动数据驱动会对管理、业务、技术三方面影响目录CONTENTS01企业实时数据中心的理解02实时数据中心解决方案03用友数据平台产品介绍04成功案例与最佳实践实时数据中心-整体架构图财务人力供应链资金成本预算售楼商务其他业务系统音频视频SNS网站文本微信微博行业其他非结构化半结构化UDH（低价值密度数据）半结构化数据非结构化数据结构化数据HIVEPIGMapReduceHDFS流处理技术列存储粗粒度索引压缩技术SQL优化动态扩展资源管理大表关联并行数据加载ODSDW元数据管理主数据管理数据质量数据安全ODSODSDMDMDMETLETLETLCDCETLMQ存储数据模型算法管理数据挖掘多维模型建模……数据仓库统一数据服务统一数据应用数据接口数据共享业务报表分析指标预警考核指标业务问题流程优化数据产品数据服务管理报表统一访问PCPAD移动APPMPP数据库（高价值密度结构化数据）行业对标宏观经济实时数据中心数据探查数据模型数据集成数据存储数据应用数据探查梳理应用系统、数据流、数据关联、数据分布等现状，为后续工作做好基础准备。数据模型构建企业信息的完整统一数据模型，包含了现有系统的数据实体和实体间的关系、属性、定义、描述和范例，综合展现数据之间的关系，并适应新的数据要求。数据集成多异构环境下的数据整合、多数据源下的结构化和非结构化数据整合、同时实现各级组织之间的数据传输。数据存储数据仓库设计方法数据仓库总体架构数据仓库部署架构数据应用定义数据的应用类型、应用对象及应用范畴。应用方式：数据接口型云端自助型移动分析型主数据规范元数据规范数据集成规范数据安全规范数据仓库构建过程12345数据质量规范关键步骤数据治理01、数据采集接口标准实现方式实现流程接口内容双方责任2、数据模型标准命名规范脚本规范注释规范维护规范3、统一业务编码标准基础编码规范总部业务编码编码映射4、ETL作业标准统一调度统一监控统一配置统一界面5、数据服务标准数据封装服务交互服务管理6、数据质量管理标准文件审核记录审核业务逻辑审核7、元数据管理标准元数据定义元数据采集元数据服务8、数据安全管理标准数据安全分级应用安全管理统一日志管理4A安全管理9、数据生命周期标准在线区近线区归档区DW九个统一标准ODS自动手工填报业务系统数据源…………DWDM指标库接口AI-DI/CDCETL数据服务数据仓库数据服务数据采集数据质量元数据数据安全数据生命周期ETLETLETLETL分析报表绩效评价经营监控问题发现数据服务商机挖掘数据封装应用123456789实时数据中心-数据治理数据治理中的标准贯穿整个数据仓库构建过程，是项目成功的有效保障，内容包含但不限于如下：数据标准与规范定义数据标准规范是对企业客户管理所涉及的各项数据的定义与解释，以及数据质量及安全性要求的统一定义，主要内容包含数据在业务层面的定义和在技术层面的定义。数据在业务层面的定义可称为业务标准，主要包括信息大类、信息小类、英文名称、中文名称、业务含义、数据管理部门和重要程度等内容

数据的技术标准，从技术层面描述数据项的定义。数据的技术标准包括：数据类型、数据格式、有效值域、是否可空、缺省值等内容根据企业的业务数据特点，对来源于各个系统中的数据实体进行统一代码定义，包括定义代码编号、中文名称、英文名称、业务含义、编码规则、字段规则等内容，实现各个系统间数据的一致性实时数据中心-数据治理实时数据中心-数据治理唯一性：数据定义的唯一性一致性：同一信息项数据在系统内或不同系统间保持一致、口径的一致性。准确性：数据正确的体现真实情况，数据符合具体业务规则关联性：数据项取值满足与其他数据项之间的依赖关系。完整性：对一项业务数据的完整性进行缺失考察、所必须的数据项及数据项的必须属性均被记录有效性：数据符合已定义的格式规范、有效的数据格式或数值正确性：ETL过程正确性/加工过程正确性/数据整合正确性/模型正确性/展现正确性可用性：主要体现在使用的效率上时效性：能够按照业务需求集市产生所需的数据充足性：在保证数据正确性基础上对主要业务专题提供足够的数据进行高精度的分析数据质量原则与流程安全与风险识别模型实时数据中心-数据治理数据仓库安全架构实时数据中心-数据探查生产数据来源分析1数据与应用分布关系2业务实体间数据流转3上下级组织间数据流转4实时数据中心-数据探查通过数据的业务分布与系统应用分布的分析方法(CRUD矩阵)形成数据分布矩阵CRUD:表达了数据实体也功能的关系、CD事件提供了数据仓库的数据源的数据质量和数据完整性信息、U事件对数据仓库的维护具有重要意义。生产数据来源分析1数据与应用分布关系2业务实体间数据流转3上下级组织间数据流转4实时数据中心-数据探查数据实体间的数据流转；业务数据实体之间关系：各系统之间数据流转关系，数据关联关系，及接口定义。生产数据来源分析1数据与应用分布关系2业务实体间数据流转3上下级组织间数据流转4实时数据中心-数据探查生产数据来源分析1数据与应用分布关系2业务实体间数据流转3上下级组织间数据流转4组织间的数据流转不同组织间的数据流转：包括同级组织横向数据流转，上下组织纵向数据流转实时数据中心-企业数据模型使企业数据从部门级提升至企业级实现信息资产的协同与共享在建设业务系统时作为其逻辑数据模型的重要参考,最终实施全企业数据存储标准的统一数据与应用分离统一企业核心业务概念，作为业务部门与业务部门，业务人员和业务人员之间沟通的桥梁在业务系统数据交换、整合时,作为系统之间信息交换标准的参考，以及ODS层数据整合的标准统一业务概念提高数据质量规范数据标准找出多个系统相关和重合的信息，减少多系统之间信息的重复定义直接用于构建数据仓库的逻辑数据模型。整合来自不同源系统的数据统一查询口径整合数据资源企业数据模型设计目标实时数据中心-企业数据模型概念模型逻辑模型物理模型定义了企业级的主题域、层面、主要的实体及实体间的业务关系对概念数据模型的进一步分解和细化，描述模型实体以及它们如何关联描述模型实体的细节，包括通过使用特定的(数据库)产品如何实施模型的信息。数据模型建设层级手工填报ESBETL实时数据集成非（半）结构化数据集成各级单位手工数据业务系统财务人力供应链半结构化/非结构化数据文档音频邮件图片视频单据数据集成标准规范异构整合：区域异构、网络异构、系统异构、数据格式异构等异构环境下的数据整合结构化与非结构化的数据来源整合针对没有信息化的数据资源，现阶段可以采用填报方式进行数据获取数据采集监控

平台运营监控数据质量监控日志监控多级填报自动汇总数据校验审核流程总线结构柔性扩展分布部署自由交换数据共享数据采集数据清洗数据转换数据加载基于日志增量捕捉实时同步实时分析海量多样数据分布集群部署极速处理架构价值挖掘模型结构化数据仓库半（非）结构化数据仓库实时数据中心-数据集成数据集成是数据仓库建设中最复杂也是耗时最多的一个环节，此步骤直接影响项目整体进度与质量，数据集成包含但不限于如下内容：实时数据中心-数据仓库设计方法星型模型正确的数据仓库模型选择，会使后续分析工作达到事半功倍的效果。目前数据仓库常用的两种模型为星型和雪花型:雪花模型模型主要优势主要不足星型模型ETL复杂度相对较低、查询性能稍好数据冗余高雪花模型数据冗余少ETL复杂度高、查询性能稍差实时数据中心-数据仓库架构设计整合数据层是EDW存储数据的核心层，是对ODS整合数据按主题、维度的深度整合汇总数据层对整合层的数据按照主题分析的需要进行汇总，实现数据的收敛应用数据层为各级各层用户提供综合查询统计、主题分析、专题分析以及决策支持数据共享层是数据服务层，本身不存储数据。通过提供准实时批量数据共享和实时查询服务来实现跨系统数据共享汇总数据层针对ODS支撑的跨系统生产报表等应用需要，根据主题的维度形成的企业统计、汇总数据整合数据层经过数据淸洗、转换、整合后的业务数据，是ODS的核心数据层接口数据层存储从源业务系统采集的数据，作为进行数据整合工作的临时工作区。实时数据中心-数据仓库部署模式数据仓库部署一般有三种方式，可根据企业实际需求选择合适的部署方式：数据与应用全集中集中式架构适用于集约化管理要求很高，各类业务系统集中部署的企业分布采集应用集中混合式适用于集约化管理要求高，业务系统分布部署，且数据量适中的企业数据与应用全分散分散式架构适用于总部对二级单位管控需求较少的企业财务HR生产管理商务协同办公其他下属单位DWODS财务HR集团分析系统财务HR生产管理商务协同办公其他下属单位DWODS财务HR分析系统集团ODS生产管理商务协同办公下属单位DWODS财务HR分析系统ODS财务HR其他DW集团实时数据中心-数据应用数据分析多维数据分析引擎、云端自助分析、轻量分析应用、移动分析等监控预警对企业业务经营环节中的关键数据进行监控及预警数据共享可作为数据共享平台，直接提供数据共享服务数据运营对企业内部各层级、外部上下游合作单位提供数据服务产品数据智能数据挖掘模型、对海量、结构化、非结构化提供数据挖掘平台数据应用数据信息检索数据交换数据推送数据发布权限管理实时数据中心-数据应用数据分析多维数据分析引擎、云端自助分析、轻量分析应用、移动分析等监控预警对企业业务经营环节中的关键数据进行监控及预警数据共享可作为数据共享平台，直接提供数据共享服务数据运营对企业内部各层级、外部上下游合作单位提供数据服务产品数据智能数据挖掘模型、对海量、结构化、非结构化提供数据挖掘平台数据应用实时数据中心-数据应用数据分析多维数据分析引擎、云端自助分析、轻量分析应用、移动分析等监控预警对企业业务经营环节中的关键数据进行监控及预警数据共享可作为数据共享平台，直接提供数据共享服务数据运营对企业内部各层级、外部上下游合作单位提供数据服务产品数据智能数据挖掘模型、对海量、结构化、非结构化提供数据挖掘平台数据应用实时数据中心-数据应用数据分析多维数据分析引擎、云端自助分析、轻量分析应用、移动分析等监控预警对企业业务经营环节中的关键数据进行监控及预警数据共享可作为数据共享平台，直接提供数据共享服务数据运营对企业内部各层级、外部上下游合作单位提供数据服务产品数据智能数据挖掘模型、对海量、结构化、非结构化提供数据挖掘平台数据应用实时数据中心-数据应用数据分析多维数据分析引擎、云端自助分析、轻量分析应用、移动分析等监控预警对企业业务经营环节中的关键数据进行监控及预警数据共享可作为数据共享平台，直接提供数据共享服务数据运营对企业内部各层级、外部上下游合作单位提供数据服务产品数据智能数据挖掘模型、对海量、结构化、非结构化提供数据挖掘平台数据应用目录CONTENTS01企业实时数据中心的理解02实时数据中心解决方案03用友数据平台产品介绍04成功案例与最佳实践iUAP企业实时数据中心的产品组成数据源采集与同步存储与计算建模与分析可视化iUAPDatalnsight用友BQ用友BQMobile第三方展现平台数据集成（DI）ChangeDataCapture（CDC）数据采集数据质量模型管理模型管理数据转换组件文件插件化，可扩展的数据类型支持JDBCODBCJMSSOAPOthers实时增量pushpull数据加速引擎（AE）AccelerationEngineiUAPUDH（大数据处理平台）iUAPDistributionforHadoopClusterManagerNoSQLSQLHadoop/HDFSSQLonHadoop海量结构化数据分析统一建模与管理（DataStudio）调度用户元数据仓库日志监控OLAP模型挖掘模型元数据语义模型实时数据同步终端用友企业实时数据中心的理解是为了帮助企业处理分析内外部系统数据的一系列工具合集，能够支持对企业内部数据以及互联网相关数据的采集、存储、处理、分析、展现，包括结构化和非结构化数据，同时通过云服务和移动服务的形式增强了用户随时随地对数据进行分析的能力。BQ8商业分析平台构建模型，报表、仪表盘开发全程可视化可视化特性可视化配置数据关联拖动配置ETL过程可视化构建分析立方构建复杂中国式报表报表开发类excel，所见即所得丰富的可视化展现部件容器、页签自由拖拽设定锚点自适应页面大小按需扩充展现组件与GIS软件结合，丰富展现形式大屏幕实时可视化——业绩、生产数据用友王文京董事长的大屏高管桌面BQ8---仪表板BQ8---仪表板天津一商-基于重力导向仪表板的组织架构概览--力导向树形图控件分析天津一商集团与各成员公司之间投资关系以及投资控股关系；--力导向关系图分析从组织架构树中选中任意公司呈现该公司的投资和被投资关系；长江传媒-标准管理驾驶舱BQ8---仪表板

前进化工-基于地图分析产品的销售分析--BQMap百度地图显示非标准大区市场销售分布概况；--大区->省级->市级多级钻取展现各区域市场销售状况；--地图区域联动表格数据实现选择器功能；雅居乐地产-基于全景地图的房产分布--仪表板切换参数展示不同区域的房产分布图，悬浮显示每个房产详细信息；--点击GIS地图上任意房产查看该房产位置全景图，展现房产周围实际环境信息；BQ8---地图控件

BQMobile独立的HTML分析解决方案，随时随地分析数据移动BQMobile支持MAServer、BQServer集群，采用分布式缓存，保证大并发效率UI模板存储到MAServer端，最大限度提升展现端性能移动端通过采取降低连接数、减少无效信息传输、使用缓存、数据压缩等技术进行性能最优化处理福建高速-实时项目跟踪、财务分析--将主要财务、人员指标在首页展现下滑出现不同业务板块的模块，点击进入不同板块的分析--通过数据权限控制不同用户的不同模块，灵活控制不同用户的不同首页BQMobile销售日报、销售日程汇款结构、汇款日报BQMobile分析内容多端运行方便在多种设备和应用系统中使用，一次设计，多端使用PADMobile微信BQMobileBQ8---BQCloud云端分析零学习成本的数据分析服务，只要有数据，就能做分析基于阿里云的云端分析平台，数据存储随需扩展，利用云端资源，降低运维成本多端自适应，数据可在任意地方获取并使用极简的云端分析工具，专注数据可视化，用友-阿里大数据实验室战略产品OpenBQ分析内容嵌入门户或业务系统，方面即时决策嵌入特性标准JS框架嵌入服务一键认证嵌入企业门户和系统配置开发、无需编码动态交互、即时变化嵌入OFFICE，自动生成报告支持条件推送、周期性订阅NC平台轻量平台自定义门户第三方门户BQMobile第三方移动端Uap运行环境和端三方运行环境和端自由报表仪表板透视表智能报告移动分析分析工具佛山创意园-与阿里钉钉移动端集成OpenBQ元数据管理统一的元数据管理，保证数据可靠。元数据管理标准规范的元数据存取、影响分析服务统一元数据导入导出服务可扩展的元数据采集接口简化应用开发，复杂业务处理支撑，系统架构优化统一元数据管理，为企业/组织数据治理提供技术基础AE数据仓库高性能数据引擎AEDI数据加速引擎RDI其他财务供应链BQ展现端BQ模型仪表板多维分析报告、报表移动分析权限人力资源订单比传统快10倍以上，数据加速引擎AE可在数秒内完成数据计算实时特性与业务系统无缝集成，实时捕捉业务数据变化基于RDI实时处理、列存数据仓库和分析模型在内存进行数据计算，整个过程数据无落地可数秒内实时获取最新业务动态分析结果大数据处理所有产品都在一个集成统一的平台之中，无需考虑任何集成，即可协同工作统一、完善的元数据管理机制贯通业务和分析领域，为企业/组织数据数据治理奠定技术基础支持企业/组织级传统数据处理和大数据处理需求完整的大数据处理架构，可扩展各种数据接入UDH企业实时数据中心的理解UDH企业实时数据中心的理解浙江邵逸夫医院等4家大型医疗机构的企业实时数据中心的理解项目，并支撑并签单政务、金融、医疗等产品公司多个大数据项目；新疆伊犁州1200万国家政务大数据示范项目。UDH企业实时数据中心的理解-海量数据分析存储DataStudio数据挖掘工具数据挖掘能力基于开源R平台，有非常丰富的算法支持，算法的更新推出速度快预置丰富的成熟算法和模型，降低客户实施数据挖掘的难度高性价比，大幅降低数据挖掘项目的实施成本，使大多数企业都用上数据挖掘开放的数据挖掘架构，深入洞察全局预测未来。古井集团，整合多业态数据，绘制集团层客户画像，通过高级分析平台的算法能力，支撑对客户的价值细分与精准营销：客户画像人群筛选推荐引擎（孵化）效果分析……DataStudio数据挖掘工具预置商业分析套件分析指标、维度、模型、报表全部预置预置分析针对用友NC产品，预置分析内容，从数据抽取、处理、调度、至数仓建模、语义模型（指标、维度）、报表与图表展现内含财务、人力、采购、库存、销售5个主题，预置指标518个，维度69个，模型49个，分析表123张节省传统BI实施1/2工作量，单主题极速交付20人天交付数据云平台服务数据服务能力提供宏观经济、行业发展动态、竞争对手对标等各类数据，全网搜索，云端分析，本地推送提供一站式数据订购服务，方便企业获取、处理，并格式化各类资讯应用场景：行业（上市公司）对标、竞争情报、市场资讯、舆情监测、大宗交易商品及价格变化等等灵活的数据服务平台，全网搜集整理企业的外部数据资源宗申集团，基于互联网爬虫技术与语义分析技术的全网监测：企业舆情分析行业趋势竞争对手分析商品口碑评价……另平台提供上市财务数据、宏观经济等第三方数据长城资产,上市公司财务披露数据爬取及分析项目，用于金融风险评估数据云平台服务

ESB（数据服务总线）服务：软件系统通过网络为其它系统提供一些功能调用，从而达到系统间数据交换、事件触发、流程驱动的目的。服务总线：提供了网络中最基本的连接中枢，消除不同应用之间的技术差异，让不同的应用服务器协调运作，实现了不同服务之间的通信和整合。颜色=数据类型形状=协议UAPESB功能介绍UAPESB是基于各大厂商SOA产品及开源产品之优秀架构和设计，用友的长期客户合作实践和集成项目积累的经验而研发的服务整合产品，它是部署与实现SOA的理想工具，有协议转换、数据转换、消息路由、服务编排、服务管理等功能。主要优势基于OSGI微内核的Bundle模式。基于SCA组件编程框架实现。基于动态化，即插即用、即删即无、可扩展的设计。基于SDO统一消息模型基于流程虚拟机引擎，支持BPEL规范。基于配置式的开