数据仓库产品优缺点分析课件

数据仓库产品优缺点分析简介本文主要对目前国内市场上几种主流的数据仓库数据库产品，通过网络资料以及个人经验做一个简单的分析，从中可以较客观地得出各数据仓库产品的优势和不足，以及未来技术发展方向，为企业的数据仓库选型提供参考。类别一：Teradata数据库Teradata天睿公司，专注大数据分析、数据仓库和整合营销管理解决方案的供应商。二：GreenPlum数据库Greenplum是一家为全球大型企业用户提供新型企业级数据仓库(EDW)企业级数据云(EDC)和商务智能(BI)提供解决方案和咨询服务的公司。三：Netezza数据库IBM（国际商业机器公司）2010年9月收购的专门的数据仓库数据库，为使大数据高级分析更简单、更迅捷和更易用而设计。四：Exadata数据库Oracle的新一代数据库云服务器。第一种：teradata数据库系列单节点系列（面向开发和测试）。1系列（面向大规模数据存储分析）。2系列（面向部门级数据仓库）4系列（采用固态硬盘，面向高速分析）5系列（面向企业级数据仓库）第一种：teradata架构第一种：Teradata优势大数据量处理性能较强。可线性扩展，实现投资保护。数据库易于管理和维护。第三方软件产品丰富。有一套完整的ETL方案、配置灵活采集异构数据时，数据会落地成.txt文件，并保留一定的天数，方便查错。通过perl采集数据时，向teradata插入数据时速度快，只受限于网络和链接接口。第一种：Teradata不足专用设备，环境搭建复杂，扩展时停机时间较长混合负载控制存在问题各系列产品互联困难价格较高etl过程和td的工具绑定紧密，对数据库本身的性能依赖强etl环境搭建复杂、非图形化自定义函数过程复杂，需要用c编写并导入数据库在做线性扩展时，数据需要重分布，消耗资源大，时间长第二种：GreenPlum架构第二种：GreenPlum优势支持行列混合存储，消除了单独行存储和列存储的缺陷在线扩容和维护，无需停机数据加载速度快，可实现实时分析基于PosgreSQL开发，语法简单，工具和应用资源丰富符合“云计算”发展方向第三种：Netezza数据库IBM最初使用DB2提出数据仓库解决方案，并提供独立数据库软件和数据库机的解决方案，但产品技术优势不明显，且未给予足够重视，市场逐渐萎缩。为弥补不足，2010年IBM收购了专业的数据仓库厂商Netezza，希望利用Netezza的技术来与Teradata、Oracle等产品抗衡。Netezza提供集成的数据库设备Twinfin解决方案，利用专利“流式数据处理架构FPGAs”技术（硬件芯片），在数据通过磁盘时可以将无关数据快速过滤，解决了传统数据仓库产品的服务器和存储间数据流瓶颈问题，实现高性能数据处理。第三课：IBMNetezza架构第三种：Netezza架构特点Netezza系统性能的主要优势来自其独特AMPP处理架构，该架构将SMP前端与一个无共享的MPP后端相结合完成查询处理。该架构将经过精心挑选的各个组件集成在一起组成了平衡的整体系统。通过每个处理组件对多个数据流进行操作，并尽早过滤掉多余的数据。最多可有多达一千多个MPP处理组件共同工作。Netezza的硬件架构和gp有些类似，由主机和S刀片和磁盘阵列和网络架构组成，gp的硬件是由master主机和segment主机和磁盘阵列和网络架构组成。和td的硬件架构有不同之处，td数据仓库是由Bynet和SMP主机和磁盘阵列组成第三种：Netezza优势针对数据分析设计，性价比高兼容Oracle语句及主流BI工具系统易于管理和维护刀片式架构，扩展简单数据库备份方便，可全量、增量、累计备份，恢复时可以全部恢复，也可以单表，部分表恢复。ZoneMap技术，在数据最小存储块里优化数据，提高查询效率。表数据删除更改记录功能，数据误操作时可以方便找回。Sql语法相交其他数据库更简单。第三种：Netezza不足混合负载控制存在不足流技术主要适用于趋势分析，对于精确分析略显不足当表的数据发生大的变化时，性能会下降，需手动对表进行groom(清理备份数据)和重做表数据统计操作。磁盘数据是两两互备份，一旦互备份磁盘同时损坏，数据很难恢复。第四种：Exadata架构第四种：Exadata优势事务类任务处理性能较好混合负载控制较好兼容Oracle产品和工具，易于使用数据仓库产品技术发展趋势集成的数据仓库设备（一体机）将成为主流,一体机集成了服务器、存储和软件，具有安装、配置、管理简单，软硬件协同、高可用性及性能可以最大限度得到同一厂商的保证。行列混合存储技术将会数据仓库的趋势，单纯的行存储或列存储在使用上均