云计算与大数据技术 课件 第6章 大数据概述

大数据概述6.1认知大数据互联网上的电商平台、移动互联网上的微博、微信、自媒体、物联网上的各种传感器，医疗行业的医疗影像、公安系统的安全监控、交通影像、车联网等都是产生大量数据的地方，这些数据以文件、图片、视频等形式存在。大数据主要包含两个层面的意思：一个层面是大数据来源多、体量大、类型多；另一个层面是大数据的技术，即从各种各样类型的数据中，快速获取有价值信息的技术。大数据的定义大数据（BigData）是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，它具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低的特点。大数据具有4V特点，即Volume（体量大）、Velocity（处理速度快）、Variety（数据类型多）、Value（价值密度低、商业价值高）。大数据特点大数据具有4V特点，即Volume（体量大）、Velocity（处理速度快）、Variety（数据类型多）、Value（价值密度低、商业价值高）。大数据系统架构从大数据的两层含义可以发现，需要一个非常规的大数据系统完成大数据的采集、存储、处理分析和展示，从而快速获取有价值的信息。大数据系统能够支持海量的数据存储和快速的大数据计算，其核心理念是实现并行化存储和计算、规模经济和虚拟化。大数据系统架构分布式系统可以满足以上大数据系统的需求（1）并行化

在一个计算资源处理不了的情况，可以使用多个计算资源同时处理，实现海量的存储和计算及快速的处理和计算的显式需求。分布式存储和计算是云计算的特点，决定了云计算是大数据系统的基础。大数据系统架构分布式系统可以满足以上大数据系统的需求（2）规模经济

一次性投入成本高，可以通过大规模的应用用户分摊成本，总体平均成本低。规模经济是云服务本身的特点，也是它的终极目标。（3）虚拟化

多种多样的软硬件设备放在一起不好管理，可以通过虚拟化技术进行抽象，封装复杂的实现和简单易用的接口调用。大数据系统架构随着存储成本的下降和云计算提供的弹性计算能力的增强，越来越多的大数据应用场景需要采用基于云计算的大数据系统架构大数据系统架构大数据应用大数据技术起源于搜索引擎应用，目前它的主要应用场景依然是互联网和移动互联网领域。电商行业是最早将大数据应用于商品推荐和营销活动优化或精准营销（淘宝、拼多多）的，可以根据消费者的习惯提前生产物料并进行物流管理，这样有利于社会的精细化生产。同时，大数据还有其他互联网应用，最常见的应用包括计算广告（依据用户和内容数据动态决定广告投放策略和定价）、内容检索和推荐（百度、字节跳动的今日头条和抖音）、它们几乎和互联网用户上网过程中的每一分每一秒都有关系，创造了巨大的经济价值。大数据关键技术大数据关键技术大数据关键技术一般包括大数据采集技术、大数据预处理技术、大数据存储与管理技术、大数据分析与挖掘技术、大数据可视化与应用技术。1．大数据采集技术大数据来源于传感器、社交网络、移动互联网等渠道，包括结构化数据、半结构化数据及非结构化数据。大数据采集技术需要考虑两个需求

（1）数据来源多，数据类型繁杂，数据体量大，数据产生速度快；（2）需要保证数据采集的可靠性和高效性，还要避免重复数据。1．大数据采集技术大数据采集系统包括日志采集系统、网络数据采集系统、数据库采集系统三类。网络数据采集系统主要通过网络爬虫和网站开放接口等方式从网站上获取非结构化数据和半结构化数据。2．大数据预处理技术大数据的预处理包括数据清理、数据集成、数据变换和数据规约等任务。由于采集的数据种类错综复杂，要对这种不同种类的数据进行分析，必须使用提取技术。数据清洗操作，如异常数据清除、重复数据剔除、不正确数据过滤，并对缺失信息项的数据进行处理。将不同数据源的数据进行归并存储、数据转换和数据规约。3．大数据存储与管理技术大数据存储与管理技术主要用于解决海量数据的存储和管理分布式存储是一种满足海量存储需求的技术，其架构通过横向扩展，将分散的存储资源集成到一个虚拟存储设备中，具备多副本高可用性、低成本大容量等优势。分布式文件系统，是指文件系统管理的物理存储资源不仅存储在本地节点上，还可以通过网络连接存储在非本地节点上。Hadoop分布式文件系统（HDFS）3．大数据存储与管理技术云存储是一种通过存储虚拟化、分布式技术、集群应用、网格技术、负载均衡等技术，将网络中大量不同类型的存储设备通过应用软件集合起来，协同工作并共同对外提供在线数据存储服务的存储方式。非关系型数据库管理系统能够轻松应对大规模的结构化和非结构化数据。分布式NoSQL数据库：Redis为代表的键值数据库、以MongoDB为代表的文档数据库、以Neo4j为代表的图数据库以及以HBase为代表的列数据库等。4．大数据分析与挖掘技术利用分布式并行编程模式、大数据计算框架，结合机器学习、数据挖掘算法、数据库方法，可以实现海量数据的分析和处理。常用的大数据计算框架有Hadoop、Spark、Flink、Storm、Hive等。5．大数据可视化与应用技术大数据的展现技术是解释大数据最有效的手段之一，而可视化技术是最佳的结果展示方式之一。通过清晰的图形、图标、图像来直观地展示分析结果，减少用户阅读和思考的时间，方便用户及时做出决策。主流的BI平台有国外的敏捷BITableau、Qlikview、PowrerBI等，国内的FineBI数据可视化等。大数据与云计算、人工智能、物联网大数据与云计算关系云计算提供基础架构平台，而大数据应用运行在这个平台上。云计算强调的是计算，而大数据是计算的对象。云计算作为计算资源的底层，支撑着上层的大数据处理，大数据基于底层的计算、存储、网络资源池完成实时的交互查询和分析。从技术上来说，大数据根植于云计算云计算的关键技术包括海量数据存储和管理技术、分布式计算框架等，这些技术都是大数据技术的基础。云服务平台上的大数据服务云服务平台上的大数据服务大数据与人工智能的关系人工智能本质是希望机器能够像人类的大脑一样思考，并做出反应。在实现人工智能的众多算法中，机器学习是发展较为快速的算法。机器学习的思想是让机器自动地从大量的数据中找出规律，并利用该规律对未知的数据做出预测。深度学习是机器学习的技术分支之一，是机器学习问世以来最大的突破之一。大数据与人工智能的关系大数据与人工智能的关系深度学习的发展离不开大数据、GPU及模型这3个因素。当前大部分的深度学习模型是有监督学习，高效、高性能的深度学习模型依赖于大量数据的有效标注。没有数据，再优秀的模型也会面对“无米之炊”的尴尬。大数据与深度学习是互相促进、互相依存的关系。标注过的大数据可以提高深度学习模型的精确性，且数据量越大，数据质量就越高，机器学习的效率和准确性也就越高。常用的大数据计算平台都提供了机器学习的接口或组件。云服务平台上的人工智能服务云服务平台上的人工智能服务大数据与物联网物联网（InternetofThings，IoT）是指通过信息传感器、射频识别（RFID）、全球定位系统、红外传感器、激光