《大数据存储技术与应用》 课件 项目一-任务一 走进大数据

《大数据存储技术与应用》课程核心知识：大数据存储基础知识、云存储服务、结构化数据存储技术、半结构化数据存储技术、非结构化数据存储技术的技能要素。课程介绍：以能力为本位、以职业实践为主线、以项目课程为主体。培养技能目标：大数据存储基础知识、大数据存储架构、大数据存储服务等技能要素。课程简介课时分配基础篇大数据存储技术与应用5G时代背景下，新一代信息技术正在不断的影响着社会生产和人民的生活。洞察数据价值，储存数据资源，挖掘数据金矿，是时代赋予大数据工程师的特殊使命。篇章引入章节任务大数据存储技术与应用项目一走进大数据存储任务一走进大数据Linux系统安装和部署？Linux网络环境的配置？Linux网络服务的配置？Linux常用的系统管理命令？回顾任务引入-大数据疫情防控大数据在疫情防控指挥过程中发挥了哪些作用?大数据行程卡如何标注我们的行程动态?大数据如何发现密切接触者?大数据在疫苗接种过程中发挥的作用?任务引入-大数据疫情防控任务描述:在学习大数据存储之前，首先要理解“大数据”的概念，熟悉大数据分类，随后进一步理解大数据处理的流程。任务教学目标：了解大数据的定义了解大数据的特征掌握大数据处理流程任务概要教学内容大数据概念与特征大数据分类大数据处理流程一二三大数据概述知识点一（一）什么是大数据？1.什么是大数据在信息技术中，“大数据”是指一些使用目前现有数据库管理工具或传统数据处理应用很难处理的大型而复杂的数据集。低价值密度多样高速大量真实大数据5V特征（二）大数据的特征大数据5V特征：Volume（大量）Velocity（高速）Variety（多样）Veracity（真实）Value（低价值密度）（二）大数据的特征1.大量数据单位之间的换算关系单位换算关系Byte（字节）1Byte=8bitKB（Kilobyte，千字节）1KB=1024ByteMB（Megabyte，兆字节）1MB=1024KBGB（Gigabyte，吉字节）1GB=1024MBTB（Trillionbyte，太字节）1TB=1024GBPB（Petabyte，拍字节）1PB=1024TBEB（Exabyte，艾字节）1EB=1024PBZB（Zettabyte，泽字节）1ZB=1024EB企业海量数据集，已经达到10TB~PB级数据规模。（二）大数据的特征172.数据种类多数据来自多种数据源，数据的类型和格式逐渐丰富，已打破了以前所限定的结构化；数据多样性的增加主要是由于新型多结构数据；大数据具有多层结构，主要是因为大数据会呈现出多变的形式和类型。3.处理速度快4.数据精度高5.价值密度低INTERNETOFANYTHING大数据分类知识点二（一）按结构化特征分类19结构化数据半结构化数据非结构化数据（二）按数据处理时效性分类20实时处理数据、准实时处理数据和批量处理数据。（三）按按存储方式分类21关系数据库存储、键值数据库存储、列式数据库存储、图数据库存储、文档数据库存储等。（四）按交换方式分类22ETL（extract，抽取；transform，转换；load，加载）方式、系统接口方式、FTP方式、移动介质复制方式等。大数据处理流程知识点三从数据分析全流程的角度，大数据技术主要包括数据采集与预处理、数据存储和管理、数据处理与分析、数据安全和隐私保护等几个层面的内容。概要大数据技术大数据采集大数据治理大数据存储分析与应用大数据分析大数据应用日志数据业务数据设备数据其他数据数据清洗数据转换数据集成结构化数据存储半结构化数据存储非结构化数据存储大数据技术数据抓取数据导入传感设备自动信息采集（一）大数据采集INTERNETOFANYTHING（二）大数据治理现实世界中数据大体上都是不完整、不一致的“脏”数据，无法直接进行分析和应用，或分析结果差强人意，为了提高数据的质量，产生了数据治理技术。（三）大数据存储通过构建大数据存储系统对各阶段海量数据进行有效存储。（四）分析与应用利用大数据分析计算、数据可视化等技术对海量数据进行分析计算和应用。本章从大数据的基本概念出发，阐述了大数据的5V特征、大数据的分类与处理流程。针对大数据存储存在的问题，详细阐述了大数据存储架构、技术路线、关键技术，并结合德拓大数据处理平台讲解了大数据存储技术的应用领域。包括如下内容：1.大数据概念：定义、分类。2.大数据处理流程：采集、治理、存储、分析与应用。任务小结课外研读大数据标准独立学习到今天，我们国家已经有12项大数据国家标准正式获批发布。我们可以通过研读《GB/T38667-2020信息技术大数据数据分类指南》标准来识别数据的类别，国家大数据标准由全国信息技术标准化委员会组织专家进行撰写更新。通过研