hchcna storage v3bssn第六章大数据存储基础

HC1109106通用V3.0张凯/wx2827482015.09新开发HC1109106

大数据存储基础大数据现在是一个非常热门的话题。在本章，我们将学习大数据存储的相关知识，包括介绍一些大数据的概念、特征、处理方式、对存储的要求等大数据相关的基础知识。学习完本章，你将能够：了解大数据的基本概念；理解结构化数据和非结构化数据之间的区别；了解基于对象的存储方式如何管理大数据；了解华为的大数据存储方案

。大数据的定义大数据的来源大数据的特征大数据的存储和处理华为大数据解决方案大数据的定义Gartner对大数据的定义：大数据

是需要新的处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。SNIA定义：数据量特别巨大，在最强大的标准计算平台上都无法对全部数据进行有效处理的数据集。大数据的定义大数据的价值大数据的特征大数据的存储和处理华为大数据解决方案大数据的产生来源什么原因导致了数据的爆炸式增长?多媒体设备的普及，如智能手机，ipad等物联网的飞速发展高分辨率的照片更多的可用带宽社交媒体的兴起，如微博，微信，Facebook等应用的流行主要组织（例如：基于互联网的公司）每PB数据结构化数据半结构化数据非结构化数据~35%~27%个人用户行为用户资料内容数据：照片，视频，文本社交网络数据WebPage&Log~23%~5%~10%大数据的内容类型主要组织

（例如：电信运营商）~15%~3%~12%网络XDP计费CDR主要数据分析和汇总数据CUBE和统一视图~7%互联网web页和日志~13%SND~18%~25%内容数据~7%大数据的内容类型（续）通过探针捕获，包含历史数据包含历史数据订购+接触包含历史数据

包含历史数据社交网络数据照片，视频，文本每PB数据结构化数据半结构化数据非结构化数据视频音乐图片数据文件邮件大数据的组成非结构化数据75%一次写入，较少修改价值不确定容量大，增长速度快需要保存时间长大数据的价值1980199020002010发生过什么？报告报表正在发生什么？监控123为什么会发生？Excel、OLAP分析将会发生什么？优化、预测分析4从分析现状到预测未来业务应用大数据的定义大数据的来源大数据的特征大数据的存储和处理华为大数据解决方案大数据的4V特性多样性速度巨量价值密度VelocityVolumeValue添加标题添加标题Variety大数据大数据的定义大数据的来源大数据的特征大数据的存储和处理华为大数据解决方案大数据处理流程数据采集数据存储数据管理数据分析...iSCSI/FC协议层存储层...NFS/CIFS...文件层Object对象系统对象Key数据用户自定义元数据元数据HTTP/REST/S3块存储直接访问，开销最小，效率最高。成本最高，扩展困难。场景：企业数据库，Oracle等。文件存储更易管理，更易与应用对接。具备一定扩展性，但限制较多。场景：企业内部应用整合，文件共享等。对象存储结构扁平，近乎无限的容量扩展。更加智能的自管理特性。业界标准互联网协议，跨地域传输能力。场景：面向互联网服务的存储，归档、备份等。ObjectObjectObjectObjectOBS：对象存储技术数据访问模型012345678910111213141516171819ObjectObjectObjectObjectObjectObjectObjectObject传统存储OBSFilenames/inodeObjects/OIDs对象存储的优势采用对象接口，灵活分割数据对象扁平化，易访问扩展自动化管理多租户数据完整性和安全性大数据处理：Hadoop解决方案分析平台MapReduce分布式并行处理架构HBase非关系型数据库HDFS–分布式文件系统大数据处理：Hadoop解决方案分析平台MapReduce分布式并行处理架构HBase非关系型数据库HDFS–分布式文件系统大数据的定义大数据的来源大数据的特征大数据的存储和处理华为大数据解决方案OceanStor9000大数据解决方案对象检索查询数据分析HPC视频监控应用层硬件节点层媒体与娱乐NodeNode分布式数据库企业级Hadoop数据处理层NFSCIFSHDFSObjectSQLMR/HbaseNodeNodeNodeNodeNodeNodeNodeNodeNodeNodeNodeNodeNodeNode分布式文件系统WushanFS归档NodeNodeNodeNode网盘话单查询精准营销上网行为分析商业推广文件OceanStor9000软件特性汇总OceanStorDFSWushanSQLFusionInsightHadoop分布式文件系统分布式数据库系统企业版Hadoop系统InfoTier自动分级存储InfoEqualizer负载均衡InfoAllocator空间配额管理InfoExplorer海量数据检索OceanStor9000InfoStamper目录级快照InfoLocker企业级WORMSecureVideo图像修复InfoProtector数据保护InfoReplicator异步远程复制NDMPNDMP备份大数据解决方案主要用于存储哪种类型的数据？大数据的定义大数据的特征大数据