数据立方与Hadoop生态圈

1、数据立方与Hadoop生态圈 数据立方与 Hadoop 生态圈 数据立方提供了结构化数据的海量存储和实时在线查询功能，在整个生态圈 中与HBase具有相同的地位。不同的是数据立方提供了多维度的实时查询，下 图为整个生态圈的结构。 ZQOke!巾 分布式协作服务 在传统的Hadoop生态圈中，主要解决的问题是大数据的存储、检索以及 分析。对于数据的存储一般采用HDFS作为底层的分布式文件系统，随着HDFS 版本的不断升级，目前 Hfds基本趋向于稳定。而数据存储一般采用HBase作 为结构化数据存储，对于海量数据的分析采用Map Reduce 。 Mahout提供了对 大数据的数据挖掘功能，免去

2、了我们自己编写分布式程序的问题。同时提供的其 他组件也很方便的给开发者提供快捷的开发。 数据立方与HDFS 数据立方作为大数据的存储，底层采用了HDFS作为底层的存储。这样可 以很大程度上避免对于文件可靠性、数据一致性等存储问题。 数据立方与HBase HBase作为目前开源的 NoSql，可以提供结构化的数据存储以及基于 RowKey的实时查询业务。数据立方同样提供了对于结构化数据的存储， 可以进 行多维度的业务查询。而 HBase目前只要对于RowKey的查询是实时的，而其 余字段的查询会导致Full Scan ,导致整个集群的大量10操作。数据立方目前支 持SQL操作，开发人员可以很方便

3、的使用数据立方开发。 数据立方与 MapReduce 数据立方提供基本的实时查询业务，对于批量的离线分析可以采用 Map Reduce。目前数据立方支持 Map Reduce，提供了 Map Reduce 的文件 In putFormat 和OutPutFormat 。用户同样可以采用数据立方作为 Map Reduce 的数据源，相比文件作为数据源。数据立方可以更快的数据源，可以提高 MapReduce的运行速度。同时数据立方还会支持 Spark等其他计算框架。 数据立方与Sqoop 常用的数据存储多采用关系数据库，数据立方目前支持Sqoop的数据导入 导出功能。可以提供关系数据库和数据立方的

4、导入导出以及HDFS的导入导出。 数据立方优势 实时性：各类基本的数据查询操作基本都在秒级完成， 大规模或复杂的分析 计算在分钟级完成，实现传统数据库所难以达到的处理能力和处理效率。 高可靠性：避免系统主节点的单点失效，并具有存储和计算节点失效检测和 恢复的容错处理能力，保证不出现系统瘫痪和数据出错现象。 高可扩展性：应用系统规模扩大时能根据需要随时增加节点以扩大系统的数 据存储能力和计算能力；并能在不停机的情况下增加节点，以保证应用服务的连 续性。 全业务支持：海量数据分布存储，少量数据关系复杂或实时性要求很高的数 据存放于关系数据库，采用这种分布式海量数据存储为主、关系数据库为辅的混 合式

5、数据存储模式，可存储各种不同规模和不同媒体和类型的数据，满足各种不 同的数据处理和应用业务需求。 数据立方对比HBase 比较特性 数据立方 HBase 支持索引 支持 无（二级索引不够完善） 数据立方支持多维索引，可 以满足任意字段的查询，而 HBase是基于主键的查询， 如果条件不包含主键会全表 扫描，整体性能非常低下 支持SQL 支持 无 HBase目前是提供专有 API 的方式，开发人贝需要冉次 学习。数据立方提供JDBC, 支持SQL，对于开发人员来 说学习成本非常低。 图形化管理 支持 支持 数据立方有监控系统， HBase目前不包含。 监控与告警 支持 无 数据立方有监控系统， HBase目前不包含。 安全性 支持 无 数据立方支持用户的权限认 证登录，而HBase不支持。 只要知道访问地址，都