《大数据存储技术与应用》 课件 项目一-任务二 走进大数据存储技术

《大数据存储技术与应用》大数据存储技术与应用项目一走进大数据存储任务二走进大数据存储技术什么是大数据？大数据的5V特征？大数据的分类？大数据的处理流程？回顾5G时代的到来，各种数据呈几何级增加，数据已然成为一种非常宝贵的战略资源备受关注。大数据存储与管理技术成为大数据技术中的主要问题之一。任务引入上网购物会产生哪些数据?每日出行会产生哪些数据?个人拨打电话、微信会产生哪些数据?视频监控会产生哪些数据?任务引入-5G时代的大数据任务描述:本节阐述了大数据存储架构和大数据存储技术路线，分析了大数据存储技术，介绍了大数据存储发展过程中的几种大数据存储系统。任务教学目标：理解大数据存储系统架构理解大数据存储技术路线掌握大数据存储架构、存储技术的具体应用任务概要教学内容按技术分类按数据结构分类一二按技术分类知识点一（一）大数据存储技术概述9改进现有的数据存储与管理技术，以满足大数据应用中数据被高效、安全地长期保存、快速管理、实时调用和实时处理的需求，是大数据技术中的主要问题之一，也是大数据存储的目标所在。按技术分类基于嵌入式架构的存储基于X86架构的存储基于云技术的存储按数据结构分类结构化数据存储架构半结构化数据存储架构非结构化数据存储架构（二）大数据存储架构1.存储架构分类节点NVR（NetworkVideoRecorder，网络硬盘录像机）架构主要面向小型高清监控系统。基于嵌入式架构的存储系统这种架构有存储系统扩展性好、硬件平台通用、数据可充分共享等优点。基于X86架构的存储系统结构模型由4层组成，分别是存储层、基础管理层、应用接口层和访问层。基于云技术的存储方案（二）大数据存储架构2.按技术分类（三）基于嵌入式架构的存储系统12（四）基于云技术的存储方案13云存储系统的结构模型由4层组成，分别是存储层、基础管理层、应用接口层和访问层。按数据结构分类知识点二（一）结构化数据存储架构15大数据存储按照数据结构分为：结构化数据存储架构半结构化数据存储架构非结构化存储架构。典型的结构化数据存储系统：PostgreSQL数据存储系统；GreenPlum并行数据存储系统等。（二）半结构化数据存储系统16典型的半结构化数据存储系统有Redis和ElasticSearch。（三）非结构化数据存储架构17非结构化数据存储是指为文档、视频、音频等非结构化数据设计的存储架构。云存储服务根据教学实际进行选择，在客户端VMWare中安装配置。（三）非结构化数据存储架构18GreenPlum数据库是一种大规模并行处理（MPP）数据库服务器，GreenPlum架构特别适合大规模数据分析、机器学习和AI。大数据存储架构按技术分类可以分为：嵌入式架构、X86架构和云存储架构；按照数据结构分类，可以分为：结构化数据存储架构、半结构化数据存储架构和非结构化数据存储架构。包括如下内容：1.大数据存储：定义。2.大数据存储架构：按技术分类、按数据结构分类。任务小结课外研读国产大数据平台独立学习中兴通讯在数据库领域具备超过十八年的技术积累，自2002年开始先后自主研发文件数据库、内存数据库、分布式数据库等产品并大规模服务电信领域产品；2014年率先拓展金融行业分布式数据库，该产品完全自主研发并获得100多项相关专利。GoldenDB数据库是全场唯一一个通过全部50项测评、并获得满分的选