企业级云端数据仓库的架构实践

1、技术创新，变革未来企业级云端数据仓库的架构实践议题云端数据仓库HashData架构和实现HashData落地场景总结和展望云端数据仓库：市场2017年互联趋势云端数据仓库：技术多维度弹性并发乎限的计算和存储能秒级的增删节点统的数据存储和处理平台结构化、半结构化和结构化数据避免数据孤岛真正的服务户只需关加载数据、分析数据基础设施管理、性能调优、可等交给数据仓库服务本身AWS RedshiftGoogle BigQueryHashData公司简介3LYRWDO7HUDGDWD,%0DKRR 100+3%2UDFOH1+64/HashData数据仓库完全托管的PB级数据仓库服务访问接开放100%兼容

2、开源的PostgreSQL和Greenplum Database系统架构云原计算、存储分离对象存储作为数据持久层独元数据服务：在线升级和扩容致性哈希数据分布：秒级扩容HashData设计理念数据存储层标数据户表数据；运时临时数据；对象存储表空间与Bucket映射；深度优化增删改查；多Buckets；元数据服务层标数据表到数据对象的映射；数据字典；统计信息；会话状态；锁状态；持久化分布式K-V数据库元数据架构计算集群资源形态物理服务器虚拟机容器纯粹的计算资源按需创建、删除；弹性伸缩；集群间资源隔离；本地缓存SSD优化；件合并；某国有：并发 原理： 每个计算节点参与到每条查询的执中； 系统持的并发

3、查询数量由单个计算节点的硬件资源决定； 扩集群规模不能提并发查询数量，虽然能够降低单条查询的延迟（有时候因为调度的开销，甚可能原来慢）； 原理： 多集群共享统存储架构； 不同集群间不竞争CPU、内存和IO资源； 多个物理集群组成个逻辑集群；某国有：弹性 原理： 数据按照哈希取模的算法均匀分布在各个计算节点； 扩容的时候，所有原有数据都需要从磁盘中读出来，重新哈希分布， 打散到各个节点（包括新添件的节点），再次写回磁盘，引量的 磁盘IO和络IO； 原理： 致性哈希算法避免了数据重新逻辑分组； 共享存储避免了数据重新物理移动；某国有：可 原理： 计算节点失败，任务调度到备份节点（Mirror节点）

4、； 全新节点替代失败节点时，数据需要从Mirror节点同步到新的节点； 原理： 数据持久化到共享存储； 动态调整计算节点与数据分之间的映射关系；某国有：数据共享 原理： Shared-Nothing：每个集群的数据保存在集群中每个计算节点本地的 磁盘； 集群与集群之间数据法做任何有效共享； 原理： Shared-Everything：任何个计算集群都能够访问任何份数据； 集群之间保证事务的强致性；某国有：成果成果：30+计算集群；20+PB数据；6000+计算节点；2000+并发访问；计算资源节省30%，存储资源节省50%；并发任意扩展，数据随共享某省移动DPI平台：Hadoop挑战：存储成本显著上升；数据分析能弱，需要 多个组件联合使；计算存储紧耦合，导致 系统法灵活扩容；某省移动DPI平台：HashData标：更的数据存储量， 同时降低存储成本；提升分析实时性和并 发访问；负载业务资源隔离；某省移动DPI平台：案成果：硬件资源节省40%；应开发周期