数据库技术及应用 课件 第10章 大数据时代的数据管理

DatabaseTechnology&Applications数据库技术及应用大数据时代的数据管理各行各业的大数据物流金融……医疗大数据管理技术概述数据构成结构化数据ID姓名班级1小明12小红1学生信息表订单号商品金额111饮料13222零食17交易信息表半结构化数据日志XML文件XML文件非结构化数据视频音频图像大数据管理技术概述大数据管理技术概述研究范式的演变大数据管理技术概述大数据采集及预处理技术大数据存储技术大数据计算技术查询、分析及可视化技术数据仓库数据仓库集成反映历史变化非易失面向主题数据仓库--面向主题性操作性数据库衣服表裤子表鞋子表袜子表帽子表数据仓库销售量成本存储量利润面向主题组织数据数据仓库—集成性操作性数据库表A：j，k表B：d，f表C：o，i表D：q，w数据仓库j，k统一命名、编码、属性数据仓库—非易失性保留不同数据的历史快照操作性数据库增加删除修改访问数据仓库载入访问数据仓库—反映历史变化提供数据的时间信息操作性数据库·随时更新·可能包括也可能不包括时间元素数据仓库·保存历史快照·必定包含时间元素数据仓库vs操作性数据库数据仓库集成反映历史变化非易失面向主题数据仓库—多维数据模型超立方体组织数据车流量表(二维)车流量表(三维)数据仓库—体系结构数据仓库的数据源数据仓库及其辅助工具仅存放导出数据面向用户提供服务数据仓库架构示例—HiveCLIJDBC/ODBCHWIThriftServerDriver（Compiler,Optimizer,Executor）HiveHadoopMetaStoreDataNode+TaskTrackerJobTrackerNameNodeNoSQL数据库结构化数据半结构化数据非结构化数据数据多样化一致性可用性分区容错性特性理论NoSQL--概念NotOnlySQLNon-relationalSQLORCAP理论NoSQL--分类键值数据库列数据库NoSQL--分类文档数据库列数据库NoSQL示例--HBase行键(RowKey)列族(ColumnFamily)单元格(Cell)时间戳(Timestamp)存储逻辑模型NoSQL示例--HBase架构设计NoSQL示例--HBase分布式负载均衡存储方式云数据库屏蔽底层细节易用管理灵活云数据库整体架构云数据库--特性高可扩展性按需分配弹性扩展高可靠性多重备份使用成本低多租户统一管理节省资源易用性灵活地点即插即用云数据库—GaussDB(forMySQL)存储层存储抽象层SQL解析层云数据库—GaussDB(forMySQL)集群架构单主节点多只读节点按区域划分资源可用区划分按物理区域划分可用区之间内网互通可用区间物理隔离兼容MySQL迁移方便高并发云数据库—GaussDB(foropenGauss)集中式适用数据量较小数据增长幅度有限分布式支持更大的数据量横向扩展能力强云数据库—GaussDB(foropenGauss)分布式架构DN将结果集返回上层汇总Coordinator生成执行计划Coordinator接收SQL本章小结