烟草行业数据中心基本介绍课件

数据中心基本介绍中软国际·2008.06中国烟草CHINATOBACCO数据中心基本介绍中软国际·2008.06中国烟草CHINA数据中心在烟草数据中心在烟草2什么是数据中心？在线联机分析OLAP数据挖掘数据展现数据仓库商业智能系统管理决策电子商务电子政务ERP市场信息……信息系统层

数据中心（datacenter简称DC）是商业智能应用在烟草行业发展应用的特定叫法，从商业智能的角度理解数据中心，烟草行业信息化建设发展到一定程度，具有一定的数据积累，并以数据仓库（DataWarehousing）、联机分析处理（OLAP）、数据挖掘（DataMining）等技术为基础，以数据集中、查询、分析、知识发现为手段，采用的一系列方法、技术和软件的总和

。数据数据统计、挖掘、智能信息与知识E抽取T转换C清洗L装载数据存放层数据分析层知识分析层战略决策层什么是数据中心？在线联机数据挖掘数据数据仓库商业智能系统管理3数据中心在烟草《数据烟草发展纲要》统一平台、统一数据库、统一网络、统一行业数据中心建设。数据中心建设要在保证不同业务系统数据相对独立的基础上，建立数据交换和共享机制，通过对数据的加工、清洗、传递和交换，实现行业公用数据的标准化、一致化，建成基于不同类型业务主题的高水平数据应用环境，实行数出一门，信息共享。行业要建设国家局（总公司）、省级局与工业公司、基层工商企业三级数据中心，逐步向上集中。在国家局（总公司）数据中心的统一管理下，要通过数据整合，按照一定的规则和权限，在行业内部实行各取所需、授权访问，做到信息共享。《烟草行业数据中心建设实施意见》行业数据中心建设的总体目标是：构建以信息资源标准为基础的数据交换平台、数据存储平台和信息服务平台。通过数据的收集、存储、加工，产生全面、准确、及时的信息资源，实现资源整合，信息共享；通过信息资源的分析、决策、执行、反馈，建立全面准确量化的管理体系，实现管理从定性向定量、由静态向动态、由事后向实时的转变，提升行业经营管理水平，提高行业整体竞争实力。数据中心在烟草《数据烟草发展纲要》45数据中心建设思路《烟草行业数据中心建设实施意见》烟草行业数据中心由国家局和省级公司两级数据中心构成，由信息资源标准、数据交换服务、数据加工存储、数据分析应用和信息安全保障五个基本体系组成，应用包括国家局、省级公司和工商企业三级用户。5数据中心建设思路《烟草行业数据中心建设实施意见》烟草行业数5把握基础信息就等于把握信息化建设价值数据集成统一交换信息整合辅助决策建立企业内部统一的信息资源标准，统一企业内部的数据口径与理解，提高数据质量，同时为后续建设系统提供指导。信息集成，建立中心数据库。通过数据中心项目中的中心数据库建设，统一数据出口，进行数据管理，实现数出一门。实现数据采集渠道统一，消除信息孤岛。避免大量私有接口，减少后续系统开发的复杂度，避免牵一发动全身现象，保持业务系统独立性建立数据中心，梳理业务流程，打破系统边界、职能界限，实现有效的信息整合。实现数据向知识的转换，充分体现事前预测、事中监控、事后分析原则。统一规范建立企业内部统一的信息资源标准，统一企业内部的数据口径与理解，提高数据质量，同时为后续建设系统提供指导。响应国家局几个统一的要求能够真正有效的管理信息系统使企业内部规范为企业高层领导服务提高系统肯定率把握基础信息就等于价值数据集成统一交换信息整合辅助决策建立企6整体构架整体构架7数据运行保障体系信息资源标准体系数据交换服务体系数据源数据存储加工体系企业内部数据数据分析应用体系行业平台数据传输通道卷包数采MES数据ETL工具报表，OLAP分析企业级数据仓库代码中心其他··············录入导入数据中心架构能源系统制丝集控其他系统数据运行信息资源数据源企业内部数据行业平台数据传输通道卷包数89中软国际在数据中心项目中做什么？工艺过程质量效率可控柔性化生产随需应变重点难点卷烟生产供应链的启发：让用户明确工作及定位利用各种工具搭建数据中心加工环境，分析业务及用户需求建立各种分析及应用做的事情：99中软国际在数据中心项目中做什么？工艺过程重点难点卷烟生产供搭建“加工环境”的产品比较ArcplanBusinessObjectsXIMSTR润乾报表数据源抽取、转换、加载业务数据集市企业数据仓库IBMDB2UDBOracleEnterpriseETL元数据前端分析展现工具查询工具、应用InformaticaPowerCenterIBMDatastageWII存储过程DB2CubeviewHyperionEssbase搭建“加工环境”的产品比较Arcplan数据源抽取、转换、加10公司数据中心优势融入数据管控的思想，可保障数据质量数据是数据中心建设的核心，质量是数据中心建设的灵魂国家局的战略伙伴，了解行业趋势，，熟悉业务，可建设前瞻性项目保持项目建设的鲜活性与各公司相比案例最多，可借鉴的项目经验多在多个数据中心建设项目中获得启发，取长补短不仅有自己的产品，可灵活利用非本公司产品灵活应用各种相关产品11公司数据中心优势融入数据管控的思想，可保障数据质量国家局的战

系统目标2.信息资源标准管理系统设计

统一信息资源管理是烟草数据中心系统建设的基础。在项目建设中，必须建立一套信息资源标准管理体系以及与此相适应的工作机制，对烟草所使用的代码和信息资源进行统一的管理。通过基础代码、指标体系、信息资源的统一，形成数据交换和数据应用的支撑，为系统集成、信息共享打好基础。信息资源标准管理平台业务系统新业务系统业务系统商业数据中心数据集成与交换平台12系统目标2.信息资源标准管理系统设计统一信息资源管信息资源标准管理体系数据元标准库编码标准库数据交换标准库数据元标准管理信息编码标准管理数据交换标准管理

建设内容2.信息资源标准管理系统设计维护查询注册审批发布数据元标准框架关键指标元标准维护查询申请审核发布服务管理维护表示标准传输标准接口标准报文格式标准13信息资源标准管理体系数据元标准库编码标准库数据交换标准库数据2.信息资源标准管理系统设计

建设作用OLAP分析企业数据模型多维数据模型查询引擎数据挖掘RDBM系统1系统2系统n操作环境层数据仓库层业务层信息资源标准1.数据集成所必需的

2.帮助最终用户理解数据仓库中的数据

3.保证数据质量的关键

4.方便维护，支持需求变化数据仓库142.信息资源标准管理系统设计建设作用OLAP分析企业数据模

系统功能2.信息资源标准管理系统设计15系统功能2.信息资源标准管理系统设计15

建模思路3.数据模型设计事实表划分数据中心范围逻辑模型设计分析业务

数据仓库模型设计数据集市模型设计物理模型设计维表事实表建立主题的EIR16建模思路3.数据模型设计事实表划分数据逻辑模分析数据仓

主题示例3.数据模型设计商业企业卷烟购、销、存分析商业企业卷烟流向分析商业卷烟零售价格分析

数据模型示例—卷烟销售主题烟叶管理卷烟销售卷烟生产17主题示例3.数据模型设计商业企业卷烟购、销、存分析商业企业4.数据模型设计表日期制丝牌号产品路线批次班次班组实际生产量产品路线制丝日生产执行产品路线代码产品路线名称日期日期代码日期名称月份代码月份名称年份代码年份名称班次表班次代码班次名称班组表班组代码班组名称制丝牌号牌号代码牌号名称制丝批次制丝批次代码烟丝牌号日期代码184.数据模型设计表日期产品路线制丝日生产执行产品路线代码日期

维表与事实表分布二4.数据模型设计

雪花模式：星型模式的维度进行进一步规范化时，星型模式就演进为雪花模式。

产地表年月日仓库代码烟叶代码烟叶年限购进数量仓库表仓库代码仓库名称所属单位上级单位仓库容量烟叶编码表烟叶代码烟叶名称等级代码产地代码产地代码产地名称产地类型等级代码等级名称烟叶类型英文表示等级表烟叶购进表19维表与事实表分布二4.数据模型设计雪花模1、建立数据集成与交换平台的两级部署

2、横向：实现地市各系统的信息共享与交换3、纵向：实现国家局省市各系统的数据交换与共享

专网数据集成与交换平台省公司数据中心分析应用省地市其他应用信息服务数据集成与交换平台……销售烟叶应用应用应用信息服务数据集成与交换平台……销售烟叶应用应用应用数据交换数据交换市局（公司）A市局（公司）B两级数据交换平台数据交换服务体系建设201、建立数据集成与交换平台的两级部署专网数据集成与交换平4.数据采集设计信息资源标准管理系统数据元标准管理数据编码标准管理数据交换标准管理数据交换平台/ETL标准格式业务数据库1标准数据业务数据库n标准数据数据仓库规范数据抽取装载校对清洗集成转换数据质量清洗规则业务分析模型格式转换214.数据采集设计信息资源标准管理系统数据元标准管理数据编码标

数据ETL建设内容4.数据采集设计1.0数据源分析2.0采集数据表结构设计3.0建立数据采集机制4.0建立增量处理机制5.0建立数据传输机制数据采集的关键点：建立采集、上报、传输、接收监控机制，实现采集过程监管建立数据质检机制，提供数据准确性检查手段提供远程访问手段，实现人工远程调控系统运行提供远程日志自动收集机制，定期分析系统运行提供软件自动更新机制，降低系统维护成本提供软件版本监控机制，确保软件远程统一部署提供基础代码和基础业务指标自动同步机制，确保数据采集正常运行

22数据ETL建设内容4.数据采集设计1.02.03.04.0

数据源分析4.数据采集设计1.02.03.04.05.0调研业务系统，确定基础数据分布

有哪些数据源？这些数据源是如何组织的？数据源互相之间的关系是什么？这些数据源是如何分布的？整理数据源结构，确定基础数据项包括哪些数据项，列举所有数据项每一个数据项的数据类型、精度从业务角度，确定每一个数据项的业务含义对于指标类型的数据项，确定其当前使用的计量单位，以及这种指标的标准计量单位23数据源分析4.数据采集设计1.02.03.04.05.0调

数据源分析4.数据采集设计1.02.03.04.05.0数据范围制丝BOM数据卷包BOM数据烟叶BOM投料烟叶单耗制丝单耗制丝日生产执行卷包日生产执行。。。。。。MES数据成品烟销售数据销售数据制丝在线质检数据制丝在线质检卷包机台停机数据卷包机台剔除数据卷包质检在线数据卷包数采能源COD数据能源消耗数据蒸汽流量数据能源数据24数据源分析4.数据采集设计1.02.03.04.05.0数

采集数据表结构设计4.数据采集设计2.03.04.05.01.0被采集端数据结构

平行采集

采集端数据结构表名：产量表表名：产量表字段名称字段编码数据类型字段名称字段编码数据类型年份YEAR整数年份YEAR整数产量AMOUNT浮点数产量AMOUNT浮点数

表名：销量表表名：销量表字段名称字段编码数据类型字段名称字段编码数据类型年份YEAR整数年份YEAR整数销售量AMOUNT浮点数销售量AMOUNT浮点数

建立采集表数据结构时，可综合考虑采集的数据量、效率要求、前置机性能、被采集数据结构的稳定性等因素，选择不同的采集表数据结构：表结构相同的平行采集还是进行整合后的汇总、合并采集固化的实体表还是灵活的动态定义表25采集数据表结构设计4.数据采集设计2.03.04.05.0

采集数据表结构设计4.数据采集设计2.03.04.05.01.0被采集端数据结构

合并采集

采集端数据结构表名：产量表表名：产销表字段名称字段编码数据类型字段名称字段编码数据类型年份YEAR整数年份YEAR整数产量AMOUNT浮点数产量P_AMOUNT浮点数销量S_AMOUNT浮点数表名：销量表字段名称字段编码数据类型年份YEAR整数销售量AMOUNT浮点数

建立采集表数据结构时，可综合考虑采集的数据量、效率要求、前置机性能、被采集数据结构的稳定性等因素，选择不同的采集表数据结构：表结构相同的平行采集还是进行整合后的汇总、合并采集固化的实体表还是灵活的动态定义表26采集数据表结构设计4.数据采集设计2.03.04.05.0

采集数据表结构设计4.数据采集设计2.03.04.05.01.0采集端数据结构表名：数据表表名：字段定义表字段名称字段编码数据类型字段名称字段编码数据类型表标识TABID整数字段标识FIELDID整数字段FIELDn浮点数字段名称FIELDNAME字符表名：表定义字段名称字段编码数据类型表标识TABID整数表名称TABNAME字符

建立采集表数据结构时，可综合考虑采集的数据量、效率要求、前置机性能、被采集数据结构的稳定性等因素，选择不同的采集表数据结构：表结构相同的平行采集还是进行整合后的汇总、合并采集固化的实体表还是灵活的动态定义表27采集数据表结构设计4.数据采集设计2.03.04.05.0

数据采集机制设计4.数据采集设计3.02.04.05.01.0联机采集（ETL）对于关系型数据源，并且允许直接访问的，采用以ETL为基础的联机采集机制。中间表方式对于关系型数据源，能够联机，但不允许直接访问的，可以考虑采用中间表方式采集，即业务系统将需要提供的数据拷贝到中间表中，然后从中间表采集数据。数据离线导入对于不能联机访问的，可以采用数据离线导入的方式，即业务系统将数据定时导出（比如excel格式），然后采集系统根据这些文件进行离线导入。人工审核填报对于原来没有计算机系统，只有纸介质数据的，可以采用人工填报＋审核方式采集。28数据采集机制设计4.数据采集设计3.02.04.05.01

数据增量处理设计4.数据采集设计4.02.03.05.01.0

对于本身具有增量标识字段（比如时间戳）的数据源，直接使用其标识字段实现增量采集；对于没有直接的增量标识字段，但业务处理过程中能够判断到增量数据的，由业务系统将增量数据主动放到中间表里，然后采集系统从中间表中采集数据；为了确保数据的准确性，在上一种情况下，由业务系统将增量数据的主键（唯一判断条件）主动放到中间表里，然后采集根据中间表中提供的判断条件，去原表中提取数据；对于业务本身无法识别增量，但是允许进行修改的，则在其数据库中建立增量监控，通过这个监控器来标识哪些是增量数据；对于业务本身无法识别增量，但是数据量比较小，或者采集频率不高的，则先进行全部采集，然后通过数据比对的办法处理；在上述情况都不能满足的情况下，如果数据库提供技术手段对数据操作过程进行日志分析的，则通过联机日志分析获得增量数据。29数据增量处理设计4.数据采集设计4.02.03.05.01

数据传输机制设计4.数据采集设计５.02.03.0４01.0在数据采集到前置机后，需要建立数据传输机制，实现数据上报到数据中心。对这个数据传输机制的要求包括：可靠投递数据触发数据路由数据压缩数据识别性能管理与监控30数据传输机制设计4.数据采集设计５.02