仓库管理_sybase数据仓库解决方案

SybaseDW BusinessIntelligence Sybase中国有限公司 Sybase数据仓库解决方案 电信行业 议程 数据仓库解决方案概述Sybase数据仓库技术解决方案数据仓库设计工具抽取 转换 清洗和装载工具数据存储 管理服务器数据分析和展现工具数据字典 元数据 的管理工具 数据仓库是在企业管理和决策中面向主题的 集成的 与时间相关的和不可修改的数据集合 BillInmon 数据仓库定义 OLTP系统 财务系统 业务系统 计费系统 网管系统 数据仓库是完全不同的数据库系统 操作 业务 系统特性 信息 分析 系统特性 DW BI在电信行业的应用 How 立足于现有的OLTP系统当前数据和历史数据集中整合之后 构建一个庞大的数据仓库面向业务分析和决策层运用多维分析方法 充分挖掘数据中的信息应用DW BI的三步曲 数据抽取 数据管理 数据分析 INFORMATION 信息 数据仓库 DataWarehouse 是一种专为联机分析应用和决策支持系统提供数据源的结构化的数据环境数据仓库要解决的问题是从数据库中获取信息的问题 信息 INFORMATION DW BI在电信行业的应用 小结什么是数据仓库 DataWarehouse 决策支持应用 数据仓库的实际构造示意图 议程 数据仓库解决方案概述Sybase数据仓库技术解决方案数据仓库设计工具抽取 转换 清洗和装载工具数据存储 管理服务器数据分析和展现工具数据字典 元数据 的管理工具 Sybase数据仓库相关产品的技术构成 Relational Package Legacy Externalsource DataCleanTool SourceData DataStaging WareHouseAdmin Tools EnterpriseDataWarehouse DataExtraction Transformationandload Datamart Datamart Enterprise CentralDataWarehouse RDBMSROLAP RDBMS RDBMS StarSchema ArchitectedDatamarts CentralMetadata LocalMetadata LocalMetadata Sybase数据仓库相关产品介绍 一个集成化的产品集 集成的主要产品 IntegrateEnterpriseConnectReplicationServerPowerMart DesignWarehouseArchitect ManageSybaseASIQ 议程 数据仓库解决方案概述Sybase数据仓库技术解决方案数据仓库设计工具抽取 转换 清洗和装载工具数据存储 管理服务器数据分析和展现工具数据字典 元数据 的管理工具 设计 成功的关键 数据库的设计对数据仓库系统的整体性能 装载和建立索引的时间以及数据量的增长等的影响超过任何其它方面 数据仓库设计工具WarehouseArchitect 为数据仓库的设计提供三大功能 多维建模度量 维 属性事实表 维表维层次表 事实层次表设计向导聚合 AggregationWizard 分区 PartitioningWizard 逆向工程数据源优化代码生成目标数据仓库引擎 IQ RDBMS OLAP分析环境 设计 WarehouseArchitect 议程 数据仓库解决方案概述Sybase数据仓库技术解决方案数据仓库设计工具抽取 转换 清洗和装载工具数据存储 管理服务器数据分析和展现工具数据字典 元数据 的管理工具 数据抽取 转换 清洗 集成 挑战多个 多种异构数据源硬件 OS RDBMS 文件数据不规范 需要做大量的清洗和整合转换规则复杂 繁多繁琐的日常性工作 占80 工作量数据质量保证数据增量抽取抽取工作过程化 自动化 数据抽取 转换 清洗 集成 成功的关键支持多个 多种异构数据源轻松方便地设计数据的清洗 转换和整合规则日常事务性工作自动化完成有完善的数据质量保证体系有完备的数据增量抽取直观 面向过程化设计 自动化的执行开放性 可扩展性 易于实施和维护 数据抽取 转换 清洗 集成 解决的方案手工编程实现使用工具设计和实施PowerMart PowerCenter开发环境 一系列工具用于设计 执行和维护数据的抽取 转换和装载流程抽取转换引擎 服务器 自动执行 集成 PowerMart MappingDesigner TransformationDeveloper SybaseInformixOracleMicrosoftIBM UDBODBCDB2SAPPeopleSoftVSAMFlatFilesWebLogsXMLIBMMQGateways SybaseInformixOracleMicrosoftODBCIBM UDBSAPBWPeopleSoftEPMFlatFilesGateways 议程 数据仓库解决方案概述Sybase数据仓库技术解决方案数据仓库设计工具抽取 转换 清洗和装载工具数据存储 管理服务器数据分析和展现工具数据字典 元数据 的管理工具 数据存储 管理 挑战数据规模查询性能装载速度易于管理存取访问 成功的关键快速 高效数据存储技术出色的查询性能 特殊的索引技术 并行查询可伸缩性 GB到TB级易于管理 方便 灵活 GUI存取访问 数据随时可用 数据管理 解决的方案通用的关系数据库系统专门的数据仓库服务器SybaseIQ专门为数据仓库 数据集市设计的关系型数据库专门针对OLAP DSS而优化的索引和查询处理技术 AdaptiveServerIQ 数据存储 AdaptiveServerIQ 无处不索引 IndexEVERYWHERE 数据压缩 通常达到原始数据的70 75 垂直存储技术 VerticalPartitioning 专利的BitWise索引技术跨越Bitmap的限制多种索引类型 FP LF HNG HG低级数的限制从100扩充到1000预连接的索引提供额外的显著提高性能手段 JoinIndex 支持任意设计模式星型 雪花 雪暴 星座模式普通关系模式支持任意加载方式文件 内部数据 外部数据库直接加载开放的接口 计算 NY 州A类商店的平均销售额 当表的记录数从几万条变为千万和上亿条时 传统RDBMS技术面对的问题 表扫描的性能极端低下冗余设计代价高昂 查询读取的无效字段过多低级数类型数据上索引的失效普通索引加载和空间代价 造成不能任意建造即席查询的SQL顺序对性能有显著影响数值型比较和运算 无恰当手段加速处理 传统RDBMS不适合数据仓库 IQ的特殊存储方式 垂直存储 按列存储 SybaseIQ 数据是按列存储的 而不是按行存储 好处 只存取查询所需的数据数据类型是一致的 因而可以很容易被压缩数据库易于修改和管理 SybaseIQ 只读完成查询所涉及到的列 计算在纽约的 A 类商店的平均销售额 IQ的特殊存储方式 垂直存储 按列存储 HowmanyMALESareNOTINSUREDinCALIFORNIA GenderMMFMM 800Bytes Row 10MROWS StateNYCACTMACA RDBMS InsuredYYNYN 10MBitsx3col 816KPage 235I Os 800Bytesx10M16KPage 500 000I Os 基本上只能使用表扫描查询过程读取了太多的无效数据 IQ Example I O的明显减少 IQ的索引特点 索引即是数据没有索引和数据的分别任何一列可以建立多个索引系统保证至少会存在一个索引 FP 索引的选择和设计主要基于 数据的级数 离散值的个数 在查询中的使用方式和SQL语句的顺序无关 索引的种类 FastProjection FP 数据压缩存储根据数据的特点会自动使用三种方式中的一种LowFast LF Bitmap索引HighNonGroup HNG Bit wise索引HighGroup HG G Array 包括一个改进的B tree FPIndex normalFP 级数 取值个数 65536数据被压缩存储 Color Red Blue Green Red FPIndex FFP 级数 256内建一个1 byte的参照表 LookupTable Data LFIndex 传统的BitMap索引级数小于1000可以唯一使用的可能性JoinsGroupbyMIN MAX SUM AVGfunctionsWhereclausepredicatesEquality Inequality Ranges INlists 冗余设计时数据量比想象中要小得多每一个取值都有一个相应的位可以适应新的取值出现和行的增加查询 selectcount fromcustomerswherestate AL LFIndex HNGIndex Bit WiseIndex数据按照二进制存储垂直分布和处理Sybase的专利技术cannotbeusedwithcertaindatatypes使用最佳范围rangesearchesforhighcardinalitycolumns运算 sumandaveragefunctions 适合大量二进制的存储数据垂直分片 即每一个位都可以在内部被独立操作由于肯定存在大量的位同时为1或0 因此IQ在内部处理时会自动做数据压缩 HNG HighCardBit WiseIndex HGIndex 在Bit Wise的基础上增加一个B Tree 并保证树在加载时不会重建最佳使用场合 JoinsSelectDistinct CountDistinctGroupBy 10001001 突破性的速度闪电般的快速查询快速装载无限的灵活性任何查询任何模式非常经济压缩的数据存储支持多用户查询 SybaseIQ AdaptiveServerIQ12 专门设计的数据仓库服务器 IQ12的技术参数 Columnlimit now16 000pertable upfrom255 GreatforSAS SPSScustomers Rowlimit now281 474 976 710 700 that s281TrillionRowsandchange Devicesize upto128GB dependingonOS Devicelimit now65 524 upfrom2 000 DatabaseSizelimit 8 4Petabytes SybaseIQ真正的数据仓库 Andyne Brio BusinessObjects Gentia InformationAdvantage InformationDiscovery InfoSpace LinguisticTechnology TeleranTechnology SeagateSoftware Mathsoft AnyData AnyTime Anywhere Cognos AdaptiveServerIQ 议程 数据仓库解决方案概述Sybase数据仓库技术解决方案数据仓库设计工具抽取 转换 清洗和装载工具数据存储 管理服务器数据分析和展现工具数据字典 元数据 的管理工具 信息生产者 信息消费者 Brio Insight Brio Quickview 客户机服务器 Web Intranet 高级用户 活跃的分析人员 报表查阅者 信息技术人员 Brio Enterprise6 0产品家族 BrioEnterprise功能服务 功能服务 BrioQuery查询OLAP查询在线分析 OLAP 报表EIS 脚本制图审核两层安全防护 BroadcastServer信息发布作业调度批处理查询 报表事件驱动处理报表广播 OnDemandServer零管理客户端Web查询适应型报表多层安全防护集群服务器支持SSL 安全套接层加密 BrioQuery IQ数据仓库 数据源 IQ数据仓库 Transformer Impromptu iqd 任何数据源 关系型 平面型 数据仓库 自动生成PowerCube用户定义的业务规则和维度10 1的数据压缩图形化的浏览多维数据完全交互式的报表探察 PowerPlay OLAP环境 CognosBI产品结构 PCDatabase Oracle Sybase Informix SQLServer ODBCGateway Impromptu DBF DB DBF DB XLS WKS CSV Transformer Authenticator MDC PowerCubes PBB PowerPlay PYH MDL IQD PPR IMR 议程 数据仓库解决方案概述Sybase数据仓库技术解决方案数据仓库设计工具抽取 转换 清洗和装载工具数据存储 管理服务器数据分析和展现工具数据字典 元数据 的管理工具 元数据管理 什么是元数据 提供数据对象的准确 全面 一致的定义 什么是 customer 的定义 其内容是什么 提供物理数据到企业模型的映射关系 如 customernumber 的正确格式是什么 productstatus 有哪些取值 不同系统中相似数据的合并使用规则是什么 提供数据源和抽取信息提供数据项的定义和相关描述数据的使用规则 MetaData Data Legend 元数据管理 ControlCenter Sybase数据仓库相关产品的技术构成 Relational Package Legacy Externalsource DataCleanTool SourceData DataStaging WareHouseAdmin Tool