《大数据存储技术与应用》 课件 项目四-任务一 走进结构化数据存储

《大数据存储技术与应用》实战篇大数据存储技术与应用1970年，IBM的研究员（“关系数据库之父”埃德加·弗兰克·科德（E.F.Codd））发表了题为“ARelationalModelofDataforLargeSharedDataBanks（大型共享数据库的关系模型）”的论文，首次提出了数据库的关系模型。篇章引入章节任务大数据存储技术与应用项目四深入结构化存储任务一走进结构化数据存储Swift的特性？Swift的应用工作场景？CAP定义？CAP理论？回顾任务引入-MPP技术Greenplum。该公司成立于2003年，2006年推出了首款产品，其主营业务关注在数据仓库和商业智能方面，GreenplumDW/BI软件可以在虚拟化x86服务器上运行无分享（shared-nothing）的大规模并行处理（MPP）架构。任务描述:本节任务从认识结构化数据、关系数据库和结构化查询语言SQL开始。任务教学目标：领会关系数据库理论基础。掌握关系数据库模型设计。应用结构化数据存储。任务概要教学内容结构化数据存储介绍结构化数据存储技术路线一二结构化数据存储介绍知识点一

安装依赖（53&54）结构化数据是指可以使用关系型数据库表示和存储，表现为二维形式的数据。通常，采用关系数据库查询语言SQL来操作结构化数据。（一）结构化数据典型的结构化数据包括：身份证号码、日期、数量、金额、地址、电话等。主要应用领域：教务系统、学工系统、CRM系统、一卡通系统等。结构化数据通常以行为单位，一行数据表示一个实体的信息，每一行数据的属性是相同的。

安装依赖（53&54）建立在E-R（Entity-Relationship，实体-关系模型）基础上的数据库，典型的关系数据库如：PostgreSQL、MySQL等。（二）关系数据库

安装依赖（53&54）结构化查询语言(StructuredQueryLanguage)简称SQL，SQL从功能上可以分为3部分：DDL（DataDefinitionLanguage，数据定义语言）、DML（datamanipulationlanguage，数据操纵语言）DCL（DataControlLanguage，数据控制语言）。（三）结构化查询语言结构化数据存储技术路线知识点一

安装依赖（53&54）大数据结构化数据存储技术路线有三种：采用关系数据库存储架构；采用MPP并行数据存储架构；基于Hadoop的技术扩展和封装。国内已经广泛应用于行业各种数据库，锁定行业应用特性，提供数据存储整体解决方案，如华为GaussDB数据库、中兴GoldenDB分布式数据库、南大通用GBase数据库、TiDB数据库、武汉达梦数据库、人大金仓KingbaseES数据库等。结构化数据存储技术路线

安装依赖（53&54）1.关系数据库存储架构采用关系数据库存储架构技术来存储结构化数据，通过对关系数据库系统的优化来解决大数据工程项目中的海量数据的存储和大量用户的并行访问问题。如：对开源关系数据库MySQL进行优化，构建MySQL数据库集群来存储海量结构化数据；部署开源关系对象数据库PostgreSQL系统，构建海量结构化数据存储系统；结构化数据存储技术路线赖（53&54）2.MPP并行数据存储架构MPP（也被称为SharedNothing架构），指有两个或者多个处理器协同执行一个操作的并行系统，每一个处理器都有其自己的内存、操作系统和磁盘。结构化数据存储技术路线

安装依赖（53&54）Hadoop开源大数据技术，扩展、封装，衍生出适合特定应用场景的存储系统和存储产品。Hadoop技术扩展和封装任务小结通过本节任务的学习，我们认识了什么是结构化数据、关系数据库和结构化查询语言。对结构化数据的存储技术路线进行了系统的探讨和学习。拓展训练PostgreSQL独立学习起源于加利福尼亚大学伯克利分校的PostgreSQL作为世界上最先进的开源数据库，已经有30多年的历史，并且以无与伦比的开发速度继续发展。PostgreSQL的成熟功能不仅与顶级商业数据库系统匹配，而且在高级数据库功能、可扩展