商业智能(BI)总体架构规划设计方案

商业智能（BI）总体架构规划设计方案商业智能（BI）总体架构规划设计方案12主题需要总体架构设计吗BI总体架构设计原则BI总体架构设计目标BI总体架构设计内容BI总体架构实战-示例BI总体架构-------分类BI总体架构-------练习Q&Addd2主题需要总体架构设计吗3某企业BI总体架构现状核心系统负载过重1、技术多不统一2、重复处理3、重复存储4、处理规则统一5、成本高6、集成难度大1、技术多不统一2、处理规则统一3、成本高4、集成难度大无全视角数据，数据不一致,无单登录3某企业BI总体架构现状核心系统负载过重无全视角数据，数据不4这么多问题如何解决呢？4这么多问题如何解决呢？5BI总体架构常用架构5BI总体架构常用架构6总体架构设计对企业的价值管理层IT科技部门技术的优势价值6总体架构设计对企业的价值管理层IT科技部门技术的优势价值需要总体架构设计吗BI总体架构设计原则BI总体架构设计目标BI总体架构设计内容BI总体架构实战-示例BI总体架构-------分类BI总体架构-------练习Q&A7主题需要总体架构设计吗7主题8BI总体架构设计原则(API+EMS)可扩展性保证系统根据业务要求合理配置，稳步发展，从逻辑架构、数据架构、技术架构、物理架构等四个方面考虑系统的可扩展性高性能作为企业级的系统，首先需要具备高性能，以满足服务基线时间窗口的需求。高可用性架构主要通过集群和负载均衡的角度充分考虑系统的健壮性，其它的核心服务模块可管理性具备高可管理能力，保证系统的生产运行，在出现异常的情况，可以快速定位并恢复。安全性系统稳定安全运行。可集成性避免重复投入，包括物理设备、系统软件、框架组件、规范方法等。8BI总体架构设计原则(API+EMS)可扩展性安全性9BI总体架构设计原则-高性能高性能设计关键因素：调度性能保障事件触发减少轮询等待资源通道管理优先级设置ETL处理集群数据库性能ETL过程高性能最佳实践：减少落地数据交换、分发性能保障压缩传输并行控制ETL产品调优ETL作业调优工具选型（datastage、脚本）开发流程规范自动化开发工具基线时间窗口保障非基线时间窗口划分9BI总体架构设计原则-高性能高性能设计关键因素：ETL过10BI总体架构设计原则-可扩展性硬件可扩展调度交换加工存储软件可扩展各模块耦合设计调度层：调度引擎与调度产品结合；可以用产品化的组件来取代调度层交换层：数据交换与传输工具结合；可以用其他产品替代加工层：加工处理与ETL产品结合；可以用其他产品替代10BI总体架构设计原则-可扩展性硬件可扩展11BI总体架构设计原则-可管理性统一调度监控全服务过程监控可视化的管理功能灵活的作业执行过程干预作业执行过程动态调整统一日志体系系统运行日志用户操作日志备份管理日志有效的运行管理办法流程化运维标准操作方法培训和文档系统设计原理日常工作流程问题知识库11BI总体架构设计原则-可管理性统一调度监控12BI总体架构设计原则-高可用性硬件配置容错关键节点双机热备调度集群交换集群ETL集群应用容错可干预和重复执行提供人工干预的机制和重复执行的功能，来保障系统发生故障时也能够继续稳定的运行。作业封装实现ETL作业的ABC功能作业封装包含完整的审计（audit）、平衡（balance）和控制（Control）组件，实现ETL作业的ABC功能，保障系统的稳定运行。Reject、Warning机制统一的Reject和Warning机制，对无法处理的数据以Reject方式提交出来，对字段赋缺省值等系统自动修改的数据以Warning的方式提交出来，保证数据在处理过程中有完整的可回朔性。12BI总体架构设计原则-高可用性硬件配置容错13BI总体架构设计原则-安全性数据传输安全性向各目标系统系统进行数据分发前，需向各目标系统进行身份认证，确保数据接收对象的合法性。数据传输过程中，应根据安全等级要求，对有保密需求的数据进行加密传输。系统权限控制提供访问控制，可参数化配置多层次安全控制，可按照用户组定义安全策略。数据备份清理机制对于源系统供过来的数据设计适合的容错周期和存储策略。13BI总体架构设计原则-安全性数据传输安全性14BI总体架构设计原则-可集成性调度监控：数据架构中的集中调度监控中心，提供接入系统的监控管理服务。集中交换：集中数据交换中心，支持各种交换模式的集成。通过JSI封装作业执行模块，提供统一的调度接口，可以方便扩展更多类型的交换、ETL作业。传输组件、加工组件的复用。自动化开发工具规范了文件交换、文件加工作业的设计、开发。14BI总体架构设计原则-可集成性调度监控：数据架构中的集中需要总体架构设计吗BI总体架构设计原则BI总体架构设计目标BI总体架构设计内容BI总体架构实战-示例BI总体架构-------分类BI总体架构-------练习Q&A15主题需要总体架构设计吗15主题16BI总体架构设计目标(LD-TOP)BI总体架构设计目标1、逻辑架构：逻辑架构确定体现在系统划分(子系统)2、物理架构：软硬件的配置3、数据架构：数据存储规划4、技术架构：系统软件技术规划，包括软件工具及技术体系5、运维架构：备份与恢复策略逻辑架构技术架构物理架构数据架构运维架构1、独立性2、依赖性尽量小3、数据冗余最小4、考虑今后管理发展需要5、便于系统分阶段实现1、稳定性高2、可用性高3、性价比要高4、扩展性好1、统一性2、扩展性3、重用性4、成熟度5、可集成1、层次性2、层次界定明确3、层次功能清晰4、模型扩展性5、尽量屏蔽源系统变化影响1、可管理性（简单、易用）2、可恢复性3、可用性4、高性能16BI总体架构设计目标(LD-TOP)BI总体架构设计目标需要总体架构设计吗BI总体架构设计原则BI总体架构设计目标BI总体架构设计内容逻辑架构物理架构技术架构数据架构运维架构BI总体架构实战-示例BI总体架构-------分类BI总体架构-------练习Q&A17主题需要总体架构设计吗17主题18BI总体架构-逻辑架构18BI总体架构-逻辑架构19BI总体架构-逻辑架构-调度特性19BI总体架构-逻辑架构-调度特性20BI总体架构-调度逻辑架构(事件驱动方式)20BI总体架构-调度逻辑架构(事件驱动方式)21BI总体架构-调度策略21BI总体架构-调度策略22BI总体架构-调度策略说明作业调度时机外部事件就绪：比如源系统文件到达，源系统库表就绪。计划时间到：某个时刻到达。作业完成：需要其依赖的作业完成。以上三种事件类型中的逻辑组合（AND或者OR）作业调度通道

通道指的是能执行ETL作业的1个节点或多个节点的集合。一般通道：大部分作业将在一般通道运行。专用通道：指运行某一类作业的通道。比如大作业，运行在专用通道上，可使其不影响一般作业的处理。VIP通道：对于结息，年结这些特殊场景的处理，运用VIP通道，确保这些作业得到最优的资源进行处理。负载均衡调度服务器负载均衡ETLServer负载均衡ETLClient负载均衡22BI总体架构-调度策略说明作业调度时机23BI总体架构-调度负载均衡23BI总体架构-调度负载均衡24BI总体架构-调度层次24BI总体架构-调度层次25BI总体架构-监控要点25BI总体架构-监控要点26BI总体架构-监控逻辑架构26BI总体架构-监控逻辑架构27BI总体架构-ETL逻辑架构数据应用层加工子系统数据交换子系统数据交换子系统监控管理子系统调度子系统FTP数据库直抽代理采集增量比对数据标准化筛选FTP代理分发检查格式合并全量入库关联汇总筛选关联汇总筛选拆分数据源系统核心系统信贷管理系统零售信贷系统其它其它数据仓库风险监测系统对公信贷系统数据应用系统ETL1ETL2ETL3加工子系统中间汇总层基础数据层数据缓冲层配置管理子系统元数据子系统27BI总体架构-ETL逻辑架构数据应用层加工子系统监控管理28BI总体架构-数据质量要素影响数据质量的因素:完整性唯一性一致性准确性合法性及时性安全性扩展性

28BI总体架构-数据质量要素影响数据质量的因素:29BI总体架构-数据质量逻辑架构29BI总体架构-数据质量逻辑架构数据质量示例数据质量管理体系描述：数据系统定义ODS关联的源系统以及目标系统，提供用户一个完整的系统视图描述：数据接口定义与源系统或目标系统相关的数据文件或数据表，最终提供一个完整的系统数据接口视图描述：应用数据线定义用户关注的数据应用实例，是全行数据线的子集，提供用户一个小角度的数据视图描述：质量指标定义全行的稽核指标点，通过指标点可以计算数据线指标值和全行指标值描述：提供全行指标的查询功能描述：通过预先定义的应用数据线，以图形的方式展现应用数据线的指标描述：通过预先定义的应用数据线，以图形的方式展现应用数据线的指标－演示了源系统的信息查看描述：通过预先定义的应用数据线，以图形的方式展现应用数据线的指标－演示了及时性指标值的细节描述：通过预先定义的应用数据线，以图形的方式展现应用数据线的指标－演示了完整性指标的细节查询描述：定义了业务或技术人员需要监控的指标值，及时提醒用户告警对象以及及时解决数据质量问题描述：分析全行的指标趋势，反映数据质量的时间变化描述：数据监控人员发现指标异常，填写问题发现单质量检查小组审核问题发现单，派发给解决人员处理描述：质量解决人员接到问题单，查找原因并解决问题，最后提交给质量检查小组描述：质量检查小组跟踪问题解决流程，最终形成问题报告，提供用户查询及输出描述：定义质量管理人员考核标准，通过合理的人员考核提高数据质量数据质量示例数据质量管理体系描述：数据系统定义ODS关联的源31BI总体架构-数据质量(点、线、面)ICSODSDWECIFICSODSDWECIF一致性准确性安全性扩展性完整性及时性合法性唯一性单点系统应用数据线企业层面31BI总体架构-数据质量(点、线、面)ICSODSDWEC32BI总体架构-元数据逻辑架构32BI总体架构-元数据逻辑架构33BI总体架构-物理架构33BI总体架构-物理架构34BI总体架构-技术架构(层次)34BI总体架构-技术架构(层次)35BI总体架构-技术架构(拓展)35BI总体架构-技术架构(拓展)36BI总体架构-数据架构(层次)第一层结构几乎和源系统一致部分数据保持全量少量数据保持少量历史第二层面向整合主题设计提供规范和共享第四层面向应用按需定制第三层初级的数据加工明细VS汇总依赖对应用的提炼36BI总体架构-数据架构(层次)第一层第二层第四层第三层37BI总体架构-运维架构设备容量规划性能工艺优化日常运维管理服务基线管理运维架构程序优化作业配置优化任务依赖优化实施工艺流程优化数据源来数基线时间数据处理结束时间数据传输结束时间供数基线时间目标系统要求数据时间对外服务时间定期系统运行情况报告系统规划容量规划性能规划系统维护系统配置参数管理正常启停机检查清理过期数据故障干预备份恢复管理定期维护管理报告系统运行情况监控性能监控服务状态监控作业执行情况监控源数据到达情况监控供数情况监控37BI总体架构-运维架构设备容量规划性能工艺优化日常运维管需要总体架构设计吗BI总体架构设计原则BI总体架构设计目标BI总体架构设计内容BI总体架构实战-示例建总行ODS逻辑架构建总行ODS物理架构兴业EDIP逻辑架构兴业EDIP物理架构中信ODS逻辑架构中信ODS物理架构BI总体架构-------分类BI总体架构-------练习Q&A38主题需要总体架构设计吗38主题39建总行ODS-逻辑架构39建总行ODS-逻辑架构40建总行ODS-物理架构40建总行ODS-物理架构41兴业EDIP-逻辑架构41兴业EDIP-逻辑架构42兴业EDIP-物理架构42兴业EDIP-物理架构43中信银行ODS-逻辑架构43中信银行ODS-逻辑架构44中信银行ODS-物理架构44中信银行ODS-物理架构需要总体架构设计吗BI总体架构设计原则BI总体架构设计目标BI总体架构设计内容BI总体架构实战-示例BI总体架构-------分类BI总体架构-------练习Q&A45主题需要总体架构设计吗45主题46BI总体架构-分类BI架构数据交换类数据整合类应用集市类ODSEDIPEDWODSECIFCRM风险报表平台.....46BI总体架构-分类BI架构数据交换类数据整合类应用集市类需要总体架构设计吗BI总体架构设计原则BI总体架构设计目标BI总体架构设计内容BI总体架构实战-示例BI总体架构-------分类BI总体架构-------练习Q&A47主题需要总体架构设计吗47主题谢谢你的观看谢谢你的观看48商业智能（BI）总体架构规划设计方案商业智能（BI）总体架构规划设计方案4950主题需要总体架构设计吗BI总体架构设计原则BI总体架构设计目标BI总体架构设计内容BI总体架构实战-示例BI总体架构-------分类BI总体架构-------练习Q&Addd2主题需要总体架构设计吗51某企业BI总体架构现状核心系统负载过重1、技术多不统一2、重复处理3、重复存储4、处理规则统一5、成本高6、集成难度大1、技术多不统一2、处理规则统一3、成本高4、集成难度大无全视角数据，数据不一致,无单登录3某企业BI总体架构现状核心系统负载过重无全视角数据，数据不52这么多问题如何解决呢？4这么多问题如何解决呢？53BI总体架构常用架构5BI总体架构常用架构54总体架构设计对企业的价值管理层IT科技部门技术的优势价值6总体架构设计对企业的价值管理层IT科技部门技术的优势价值需要总体架构设计吗BI总体架构设计原则BI总体架构设计目标BI总体架构设计内容BI总体架构实战-示例BI总体架构-------分类BI总体架构-------练习Q&A55主题需要总体架构设计吗7主题56BI总体架构设计原则(API+EMS)可扩展性保证系统根据业务要求合理配置，稳步发展，从逻辑架构、数据架构、技术架构、物理架构等四个方面考虑系统的可扩展性高性能作为企业级的系统，首先需要具备高性能，以满足服务基线时间窗口的需求。高可用性架构主要通过集群和负载均衡的角度充分考虑系统的健壮性，其它的核心服务模块可管理性具备高可管理能力，保证系统的生产运行，在出现异常的情况，可以快速定位并恢复。安全性系统稳定安全运行。可集成性避免重复投入，包括物理设备、系统软件、框架组件、规范方法等。8BI总体架构设计原则(API+EMS)可扩展性安全性57BI总体架构设计原则-高性能高性能设计关键因素：调度性能保障事件触发减少轮询等待资源通道管理优先级设置ETL处理集群数据库性能ETL过程高性能最佳实践：减少落地数据交换、分发性能保障压缩传输并行控制ETL产品调优ETL作业调优工具选型（datastage、脚本）开发流程规范自动化开发工具基线时间窗口保障非基线时间窗口划分9BI总体架构设计原则-高性能高性能设计关键因素：ETL过58BI总体架构设计原则-可扩展性硬件可扩展调度交换加工存储软件可扩展各模块耦合设计调度层：调度引擎与调度产品结合；可以用产品化的组件来取代调度层交换层：数据交换与传输工具结合；可以用其他产品替代加工层：加工处理与ETL产品结合；可以用其他产品替代10BI总体架构设计原则-可扩展性硬件可扩展59BI总体架构设计原则-可管理性统一调度监控全服务过程监控可视化的管理功能灵活的作业执行过程干预作业执行过程动态调整统一日志体系系统运行日志用户操作日志备份管理日志有效的运行管理办法流程化运维标准操作方法培训和文档系统设计原理日常工作流程问题知识库11BI总体架构设计原则-可管理性统一调度监控60BI总体架构设计原则-高可用性硬件配置容错关键节点双机热备调度集群交换集群ETL集群应用容错可干预和重复执行提供人工干预的机制和重复执行的功能，来保障系统发生故障时也能够继续稳定的运行。作业封装实现ETL作业的ABC功能作业封装包含完整的审计（audit）、平衡（balance）和控制（Control）组件，实现ETL作业的ABC功能，保障系统的稳定运行。Reject、Warning机制统一的Reject和Warning机制，对无法处理的数据以Reject方式提交出来，对字段赋缺省值等系统自动修改的数据以Warning的方式提交出来，保证数据在处理过程中有完整的可回朔性。12BI总体架构设计原则-高可用性硬件配置容错61BI总体架构设计原则-安全性数据传输安全性向各目标系统系统进行数据分发前，需向各目标系统进行身份认证，确保数据接收对象的合法性。数据传输过程中，应根据安全等级要求，对有保密需求的数据进行加密传输。系统权限控制提供访问控制，可参数化配置多层次安全控制，可按照用户组定义安全策略。数据备份清理机制对于源系统供过来的数据设计适合的容错周期和存储策略。13BI总体架构设计原则-安全性数据传输安全性62BI总体架构设计原则-可集成性调度监控：数据架构中的集中调度监控中心，提供接入系统的监控管理服务。集中交换：集中数据交换中心，支持各种交换模式的集成。通过JSI封装作业执行模块，提供统一的调度接口，可以方便扩展更多类型的交换、ETL作业。传输组件、加工组件的复用。自动化开发工具规范了文件交换、文件加工作业的设计、开发。14BI总体架构设计原则-可集成性调度监控：数据架构中的集中需要总体架构设计吗BI总体架构设计原则BI总体架构设计目标BI总体架构设计内容BI总体架构实战-示例BI总体架构-------分类BI总体架构-------练习Q&A63主题需要总体架构设计吗15主题64BI总体架构设计目标(LD-TOP)BI总体架构设计目标1、逻辑架构：逻辑架构确定体现在系统划分(子系统)2、物理架构：软硬件的配置3、数据架构：数据存储规划4、技术架构：系统软件技术规划，包括软件工具及技术体系5、运维架构：备份与恢复策略逻辑架构技术架构物理架构数据架构运维架构1、独立性2、依赖性尽量小3、数据冗余最小4、考虑今后管理发展需要5、便于系统分阶段实现1、稳定性高2、可用性高3、性价比要高4、扩展性好1、统一性2、扩展性3、重用性4、成熟度5、可集成1、层次性2、层次界定明确3、层次功能清晰4、模型扩展性5、尽量屏蔽源系统变化影响1、可管理性（简单、易用）2、可恢复性3、可用性4、高性能16BI总体架构设计目标(LD-TOP)BI总体架构设计目标需要总体架构设计吗BI总体架构设计原则BI总体架构设计目标BI总体架构设计内容逻辑架构物理架构技术架构数据架构运维架构BI总体架构实战-示例BI总体架构-------分类BI总体架构-------练习Q&A65主题需要总体架构设计吗17主题66BI总体架构-逻辑架构18BI总体架构-逻辑架构67BI总体架构-逻辑架构-调度特性19BI总体架构-逻辑架构-调度特性68BI总体架构-调度逻辑架构(事件驱动方式)20BI总体架构-调度逻辑架构(事件驱动方式)69BI总体架构-调度策略21BI总体架构-调度策略70BI总体架构-调度策略说明作业调度时机外部事件就绪：比如源系统文件到达，源系统库表就绪。计划时间到：某个时刻到达。作业完成：需要其依赖的作业完成。以上三种事件类型中的逻辑组合（AND或者OR）作业调度通道

通道指的是能执行ETL作业的1个节点或多个节点的集合。一般通道：大部分作业将在一般通道运行。专用通道：指运行某一类作业的通道。比如大作业，运行在专用通道上，可使其不影响一般作业的处理。VIP通道：对于结息，年结这些特殊场景的处理，运用VIP通道，确保这些作业得到最优的资源进行处理。负载均衡调度服务器负载均衡ETLServer负载均衡ETLClient负载均衡22BI总体架构-调度策略说明作业调度时机71BI总体架构-调度负载均衡23BI总体架构-调度负载均衡72BI总体架构-调度层次24BI总体架构-调度层次73BI总体架构-监控要点25BI总体架构-监控要点74BI总体架构-监控逻辑架构26BI总体架构-监控逻辑架构75BI总体架构-ETL逻辑架构数据应用层加工子系统数据交换子系统数据交换子系统监控管理子系统调度子系统FTP数据库直抽代理采集增量比对数据标准化筛选FTP代理分发检查格式合并全量入库关联汇总筛选关联汇总筛选拆分数据源系统核心系统信贷管理系统零售信贷系统其它其它数据仓库风险监测系统对公信贷系统数据应用系统ETL1ETL2ETL3加工子系统中间汇总层基础数据层数据缓冲层配置管理子系统元数据子系统27BI总体架构-ETL逻辑架构数据应用层加工子系统监控管理76BI总体架构-数据质量要素影响数据质量的因素:完整性唯一性一致性准确性合法性及时性安全性扩展性

28BI总体架构-数据质量要素影响数据质量的因素:77BI总体架构-数据质量逻辑架构29BI总体架构-数据质量逻辑架构数据质量示例数据质量管理体系描述：数据系统定义ODS关联的源系统以及目标系统，提供用户一个完整的系统视图描述：数据接口定义与源系统或目标系统相关的数据文件或数据表，最终提供一个完整的系统数据接口视图描述：应用数据线定义用户关注的数据应用实例，是全行数据线的子集，提供用户一个小角度的数据视图描述：质量指标定义全行的稽核指标点，通过指标点可以计算数据线指标值和全行指标值描述：提供全行指标的查询功能描述：通过预先定义的应用数据线，以图形的方式展现应用数据线的指标描述：通过预先定义的应用数据线，以图形的方式展现应用数据线的指标－演示了源系统的信息查看描述：通过预先定义的应用数据线，以图形的方式展现应用数据线的指标－演示了及时性指标值的细节描述：通过预先定义的应用数据线，以图形的方式展现应用数据线的指标－演示了完整性指标的细节查询描述：定义了业务或技术人员需要监控的指标值，及时提醒用户告警对象以及及时解决数据质量问题描述：分析全行的指标趋势，反映数据质量的时间变化描述：数据监控人员发现指标异常，填写问题发现单质量检查小组审核问题发现单，派发给解决人员处理描述：质量解决人员接到问题单，查找原因并解决问题，最后提交给质量检查小组描述：质量检查小组跟踪问题解决流程，最终形成问题报告，提供用户查询及输出描述：定义质量管理人员考核标准，通过合理的人员考核提高数据质量数据质量示例数据质量管理体系描述：数据系统定义ODS关联的源79BI总体架构-数据质量(点、线、面)ICSODSDWECIFICSODSDWECIF一致性准确性安全性扩展性完整性及时性合法性唯一性单点系统应用数据线企业层面31BI总体架构-数据质量(点、线、面)ICSODSDWEC80BI总体架构-元数据逻辑架构32BI总体架构-元数据逻辑架构81BI总体架构-物理架构33BI总体架构-物理架构82BI总体架构-技术架构(层次)34BI总体架构-技术架构(层次)83BI总体架构-技术架构(拓展)35BI总体架构-技术架构(拓展)8