《大数据存储技术与应用》 课件 项目一 走进大数据存储

《大数据存储技术与应用》课程核心知识：大数据存储基础知识、云存储服务、结构化数据存储技术、半结构化数据存储技术、非结构化数据存储技术的技能要素。课程介绍：以能力为本位、以职业实践为主线、以项目课程为主体。培养技能目标：大数据存储基础知识、大数据存储架构、大数据存储服务等技能要素。课程简介课时分配基础篇大数据存储技术与应用5G时代背景下，新一代信息技术正在不断的影响着社会生产和人民的生活。洞察数据价值，储存数据资源，挖掘数据金矿，是时代赋予大数据工程师的特殊使命。篇章引入章节任务大数据存储技术与应用项目一走进大数据存储任务一走进大数据Linux系统安装和部署？Linux网络环境的配置？Linux网络服务的配置？Linux常用的系统管理命令？回顾任务引入-大数据疫情防控大数据在疫情防控指挥过程中发挥了哪些作用?大数据行程卡如何标注我们的行程动态?大数据如何发现密切接触者?大数据在疫苗接种过程中发挥的作用?任务引入-大数据疫情防控任务描述:在学习大数据存储之前，首先要理解“大数据”的概念，熟悉大数据分类，随后进一步理解大数据处理的流程。任务教学目标：了解大数据的定义了解大数据的特征掌握大数据处理流程任务概要教学内容大数据概念与特征大数据分类大数据处理流程一二三大数据概述知识点一（一）什么是大数据？1.什么是大数据在信息技术中，“大数据”是指一些使用目前现有数据库管理工具或传统数据处理应用很难处理的大型而复杂的数据集。低价值密度多样高速大量真实大数据5V特征（二）大数据的特征大数据5V特征：Volume（大量）Velocity（高速）Variety（多样）Veracity（真实）Value（低价值密度）（二）大数据的特征1.大量数据单位之间的换算关系单位换算关系Byte（字节）1Byte=8bitKB（Kilobyte，千字节）1KB=1024ByteMB（Megabyte，兆字节）1MB=1024KBGB（Gigabyte，吉字节）1GB=1024MBTB（Trillionbyte，太字节）1TB=1024GBPB（Petabyte，拍字节）1PB=1024TBEB（Exabyte，艾字节）1EB=1024PBZB（Zettabyte，泽字节）1ZB=1024EB企业海量数据集，已经达到10TB~PB级数据规模。（二）大数据的特征172.数据种类多数据来自多种数据源，数据的类型和格式逐渐丰富，已打破了以前所限定的结构化；数据多样性的增加主要是由于新型多结构数据；大数据具有多层结构，主要是因为大数据会呈现出多变的形式和类型。3.处理速度快4.数据精度高5.价值密度低INTERNETOFANYTHING大数据分类知识点二（一）按结构化特征分类19结构化数据半结构化数据非结构化数据（二）按数据处理时效性分类20实时处理数据、准实时处理数据和批量处理数据。（三）按按存储方式分类21关系数据库存储、键值数据库存储、列式数据库存储、图数据库存储、文档数据库存储等。（四）按交换方式分类22ETL（extract，抽取；transform，转换；load，加载）方式、系统接口方式、FTP方式、移动介质复制方式等。大数据处理流程知识点三从数据分析全流程的角度，大数据技术主要包括数据采集与预处理、数据存储和管理、数据处理与分析、数据安全和隐私保护等几个层面的内容。概要大数据技术大数据采集大数据治理大数据存储分析与应用大数据分析大数据应用日志数据业务数据设备数据其他数据数据清洗数据转换数据集成结构化数据存储半结构化数据存储非结构化数据存储大数据技术数据抓取数据导入传感设备自动信息采集（一）大数据采集INTERNETOFANYTHING（二）大数据治理现实世界中数据大体上都是不完整、不一致的“脏”数据，无法直接进行分析和应用，或分析结果差强人意，为了提高数据的质量，产生了数据治理技术。（三）大数据存储通过构建大数据存储系统对各阶段海量数据进行有效存储。（四）分析与应用利用大数据分析计算、数据可视化等技术对海量数据进行分析计算和应用。本章从大数据的基本概念出发，阐述了大数据的5V特征、大数据的分类与处理流程。针对大数据存储存在的问题，详细阐述了大数据存储架构、技术路线、关键技术，并结合德拓大数据处理平台讲解了大数据存储技术的应用领域。包括如下内容：1.大数据概念：定义、分类。2.大数据处理流程：采集、治理、存储、分析与应用。任务小结课外研读大数据标准独立学习到今天，我们国家已经有12项大数据国家标准正式获批发布。我们可以通过研读《GB/T38667-2020信息技术大数据数据分类指南》标准来识别数据的类别，国家大数据标准由全国信息技术标准化委员会组织专家进行撰写更新。通过研读《合作式智能交通系统车用通信系统应用层及应用数据交互标准》来研究5G+智慧交通应用数据交互的格式。1.大数据的5V特征？2.大数据的分类？3.描述大数据的处理流程？作业谢谢！THANKS!《大数据存储技术与应用》大数据存储技术与应用项目一走进大数据存储任务二走进大数据存储技术什么是大数据？大数据的5V特征？大数据的分类？大数据的处理流程？回顾5G时代的到来，各种数据呈几何级增加，数据已然成为一种非常宝贵的战略资源备受关注。大数据存储与管理技术成为大数据技术中的主要问题之一。任务引入上网购物会产生哪些数据?每日出行会产生哪些数据?个人拨打电话、微信会产生哪些数据?视频监控会产生哪些数据?任务引入-5G时代的大数据任务描述:本节阐述了大数据存储架构和大数据存储技术路线，分析了大数据存储技术，介绍了大数据存储发展过程中的几种大数据存储系统。任务教学目标：理解大数据存储系统架构理解大数据存储技术路线掌握大数据存储架构、存储技术的具体应用任务概要教学内容按技术分类按数据结构分类一二按技术分类知识点一（一）大数据存储技术概述42改进现有的数据存储与管理技术，以满足大数据应用中数据被高效、安全地长期保存、快速管理、实时调用和实时处理的需求，是大数据技术中的主要问题之一，也是大数据存储的目标所在。按技术分类基于嵌入式架构的存储基于X86架构的存储基于云技术的存储按数据结构分类结构化数据存储架构半结构化数据存储架构非结构化数据存储架构（二）大数据存储架构1.存储架构分类节点NVR（NetworkVideoRecorder，网络硬盘录像机）架构主要面向小型高清监控系统。基于嵌入式架构的存储系统这种架构有存储系统扩展性好、硬件平台通用、数据可充分共享等优点。基于X86架构的存储系统结构模型由4层组成，分别是存储层、基础管理层、应用接口层和访问层。基于云技术的存储方案（二）大数据存储架构2.按技术分类（三）基于嵌入式架构的存储系统45（四）基于云技术的存储方案46云存储系统的结构模型由4层组成，分别是存储层、基础管理层、应用接口层和访问层。按数据结构分类知识点二（一）结构化数据存储架构48大数据存储按照数据结构分为：结构化数据存储架构半结构化数据存储架构非结构化存储架构。典型的结构化数据存储系统：PostgreSQL数据存储系统；GreenPlum并行数据存储系统等。（二）半结构化数据存储系统49典型的半结构化数据存储系统有Redis和ElasticSearch。（三）非结构化数据存储架构50非结构化数据存储是指为文档、视频、音频等非结构化数据设计的存储架构。云存储服务根据教学实际进行选择，在客户端VMWare中安装配置。（三）非结构化数据存储架构51GreenPlum数据库是一种大规模并行处理（MPP）数据库服务器，GreenPlum架构特别适合大规模数据分析、机器学习和AI。大数据存储架构按技术分类可以分为：嵌入式架构、X86架构和云存储架构；按照数据结构分类，可以分为：结构化数据存储架构、半结构化数据存储架构和非结构化数据存储架构。包括如下内容：1.大数据存储：定义。2.大数据存储架构：按技术分类、按数据结构分类。任务小结课外研读国产大数据平台独立学习中兴通讯在数据库领域具备超过十八年的技术积累，自2002年开始先后自主研发文件数据库、内存数据库、分布式数据库等产品并大规模服务电信领域产品；2014年率先拓展金融行业分布式数据库，该产品完全自主研发并获得100多项相关专利。GoldenDB数据库是全场唯一一个通过全部50项测评、并获得满分的选手。1.按技术分类，大数据存储架构有哪些？2.什么是嵌入式存储架构，应用场景有哪些？3.简述云存储架构？作业谢谢！THANKS!《大数据存储技术与应用》大数据存储技术与应用项目一走进大数据存储任务三走进大数据存储应用大数据存储架构？嵌入式存储架构，应用场景？云存储架构？非结构化存储架构？回顾5G时代的到来，各种数据呈几何级增加，数据已然成为一种非常宝贵的战略资源备受关注。大数据已经应用到各个领域。任务引入大数据在电力领域的具体应用?大数据在农业领域具体的应用?大数据在医疗领域具体的应用?大数据在教育领域的具体应用?任务引入-大数据应用任务描述:本节任务以医疗和电力系统为案例，阐述了大数据存储技术在行业领域的具体应用。任务教学目标：了解大数据存储技术在医疗系统中的应用了解大数据存储技术在电力系统中的应用理解大数据存储架构、存储技术的具体应用。任务概要教学内容大数据存储技术应用智能大数据处理平台医疗大数据融合平台智慧国土大数据融合平台能源电力大数据融合平台一二三四五大数据存储技术应用知识点一大数据存储技术应用64如今，大数据技术已广泛应用于工业、能源、医疗、金融、电信、交通等行业，如何整合数据、利用数据创造价值是大数据存储技术的关键点。本节以医疗大数据、能源电力大数据为例，解读大数据存储技术的应用。智能大数据处理平台知识点二智能大数据处理平台66DANA智能大数据开发平台以“数据智能”为目标，着手于“数据是谁”、“数据从哪里来”、“数据到哪里去”三个基本问题，提供大数据基础开发平台，让用户更好的应用和组织数据，为开发者和公司提供更加容易运营、开发、部署应用的环境，用户也不再需要关心和管理私有云的基础设施，包括网络、存储、服务器、开发服务等。智能大数据处理平台671.数据集成提供数据库、文件、日志、网页、实时流数据的抽取、清洗、转换方案。2.数据库服务提供大数据时代稳定可靠、可弹性伸缩的数据库服务。Stock数据库引擎根据不同业务开发对各类数据库的需求，提供便捷统一的数据库管理、使用、监控、运维等服务。Lemur是基于内存存储的高性能结构化数据库，支持标准SQL语法，可提供每秒百万级别的交互事务，更提供高效的实时数据分析能力。Teryx帮助构建PB级别的分布式OLAP数据仓库。智能大数据处理平台683.存储服务Fox文件系统提供无限扩展、NAS协议标准文件存储服务。Boa块存储提供高性能、高可靠的块级随机存储。Cayman非结构数据仓库提供私有对象存储和高效率的非结构化数据管理。智能大数据处理平台694.大数据处理服务DANA平台提供丰富和强大的数据处理服务引擎，例如：Eagles实时搜索与分析引擎实现海量实时在线快速搜索和准确分析服务。Phoenix消息中间件低延时、高性能的特点轻松应对海量消息的发送和接收，服务于大数据领域中数据管道、曰志服务、流处理数据中心等应用方案。智能大数据处理平台70Eel流媒体引擎支持RTMP、RTSP,HTIP、HLS等多种流媒体协议，轻松实现多媒体文件的直播、点播以及虚拟直播等功能。Dodo调度引擎以接流程自动调用组件的形式帮助处理分布式任务的调度、执行和监控。智能大数据处理平台71Mustang实时流计算引擎，基于SparkStreaming实时流计算框架，满足所有对实时性要求富的流计算应用场景和系统需求。Leopard智能媒体数据处理引擎针对海量文档、图片、音视频等数据进行有效快速处理。医疗大数据融合平台知识点三医疗大数据融合平台73随着大数据在互联网、电子商务、公共服务等行业的成功应用，医疗卫生行业的信息化也迎来自己的“大数据时代”。目前，医疗卫生系统的信息化日趋成熟，但随着省级医院与基层、公共卫生机构之间的数据共享和互联互通建设的推进，数据数量的增加、数据所需处理速度的提高、数据类型和标准的多样化、系统之间的数据孤岛等问题逐渐显现。医疗大数据融合平台74医疗大数据平台帮助医院取得如下几个方面的成果和业务价值：数据孤岛打通。患者健康档案。医务人员绩效管理。全面数据分析。高效决策支持。智慧国土大数据融合平台知识点四智慧国土大数据融合平台76各级国土部门在国家省、市、县等基础上，基本建成以全国遥感建设一张图，综合监管平台、公共服务平台为主题的国土资源信息化框架体现，积累了海量的国土、人事、事件、财务等数据。当前需要在现有数据基础上，利用超融合、云计算等技术，解决数据计算和存储的问题，实现国土信息化由传统的以业务需求建设为主转向以数据驱动为民众带来更优化服务体验的目标。智慧国土大数据融合平台77智慧国土大数据融合平台的建设，其主要应用价值：分布式集群实现底层架构无限扩张，多副本机制确保数据安全可靠。解决因业务口径不同而产生的数据标准不统一、类型不匹配、格式不一致、语义不一致等问题。从各个环节、各个维度进行记录、管控、分析。让数据分析成为决策的第一手科学依据。能源电力大数据融合平台知识点五能源电力