信息技术基础（拓展模块） 课件 学习单元5大数据 5.3

学习单元五大数据5.3熟悉大数据的相关技术线上课前导学课前自测推课前学习资源包头脑风暴任务调研今天，各种大数据工具和技术如Hadoop、Spark、NoSQL等不断涌现，为企业提供了更多的选择。不仅如此，大数据分析也被越来越多的企业采用，以支持数据驱动的决策和提高业务效率。

例如，通过对客户行为的大数据分析，一些网络安全公司可以更好地了解客户需求，提供更精准的客户服务。大数据相关技术是一系列为解决大规模数据处理和管理问题而涌现的技术，包括体系架构和数据分析两方面。在体系架构方面，包括分布式文件系统、分布式计算框架、数据库技术等；在数据分析方面，包括机器学习技术。小思考

请谈谈你认为大数据技术在未来发展中可能面临的一些安全和隐私问题，并提出你的看法和建议。线上课前导学头脑风暴任务调研课前自测参考网站：慕课网（/）极客时间（/）实验楼（/）参考书籍：《Hadoop权威指南》《Spark大数据处理》《NoSQL数据库原理及应用》《大数据时代》《Python大数据处理与分析》线上课前导学任务调研课前自测头脑风暴1大数据相关技术包括哪两个方面？2大数据技术如何帮助实现智能城市、物联网、金融风险控制等应用？3你了解哪些大数据技术工具和技术平台？它们有什么特点和优势？线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结熟悉大数据的相关技术是当今不可忽视的重要课题，对于企业和社会发展都具有重要意义。学习大数据技术需要掌握大数据的相关技术，包括大数据处理和管理的基础架构、分布式文件系统、分布式计算框架、数据库技术等，以及机器学习技术和数据分析技术等。

在学习大数据技术的同时，需要了解大数据安全的基本概念和防护措施，以及大数据隐私保护的方法和标准。线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结1.了解数据分析与挖掘；2.熟悉大数据体系架构。1.数据分析和数据挖掘的概念数据分析和数据挖掘的目的是通过对数据进行深入研究来发现新的见解、识别趋势、提高效率和减少成本。2.数据分析的优势根据研究机构AlliedMarketResearch公司发布的一份调查报告，到2027年，全球大数据和商业分析市场规模预计将达到4209.8亿美元，从2020年到2027年的复合年增长率为10.9%。线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结典型工作环节1数据分析与挖掘3.数据分析和挖掘的工作流程大数据分析主要利用了4个关键流程。这些工作包括数据的收集、处理、清理和分析。以下了解这些关键流程。(1)收集数据移动记录、客户反馈表、从客户那里收到的邮件、调查报告、社交媒体平台和移动应用程序是数据分析师可以收集特定信息的来源(2)处理数据在收集数据之后，下一步要使用它将数据存储在数据池或数据仓库中，将允许分析师组织、配置和分组大数据，以便为每个请求绘制清晰的图表，这对于最终结果也将更加准确。(3)清理数据为确保处理过的数据分析师的工作是完整和可行的，它必须清除重复数据、不真实输入、系统错误和其他类型的偏差。线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结典型工作环节1数据分析与挖掘(4)分析数据这是最后一个步骤，可以分析收集、处理和清理的原始数据，并有可能提取急需的结果。在这里可以使用：1)数据挖掘2)人工智能3)文本挖掘4)机器学习5)预测分析6)深度学习线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结典型工作环节1数据分析与挖掘大数据架构设计用来处理对传统数据库系统而言太大或太复杂的数据的引入、处理和分析。组织进入大数据领域的门槛各不相同，具体取决于用户的权限及其工具的功能。1.Hadoop体系架构Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，如图所示。为用户提供了系统底层细节透明的分布式基础架构。线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结典型工作环节2大数据体系架构2.

Lambda体系架构随着大数据应用的发展，人们逐渐对系统的实时性提出了要求，为了计算一些实时指标，就在原来离线数仓的基础上增加了一个实时计算的链路，并对数据源做流式改造（即把数据发送到消息队列），实时计算去订阅消息队列，直接完成指标增量的计算，推送到下游的数据服务中去，由数据服务层完成离线与实时结果的合并。线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结典型工作环节2大数据体系架构3.Kappa体系架构Lambda架构虽然满足了实时的需求，但带来了更多的开发与运维工作，其架构背景是流处理引擎还不完善，流处理的结果只作为临时的、近似的值提供参考。后来随着Flink

等流处理引擎的出现，流处理技术很成熟了，这时为了解决两套代码的问题，LickedIn

的JayKreps提出了Kappa架构。Kappa架构在Lambda的基础上进行了优化，将实时和流部分进行了合并，将数据通道以消息队列进行替代。线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结典型工作环节2大数据体系架构4.Unifield体系架构以上的种种架构都围绕海量数据处理为主，Unifield架构则更激进，将机器学习和数据处理揉为一体，从核心上来说，Unifield依旧以Lambda为主，不过对其进行了改造，在流处理层新增了机器学习层。线下课中演练前情回顾任务驱动演示讲解巩固小结巩固小结典型工作环节2大数据体系架构线下课中演练前情回顾任务驱动演示讲解巩固小结1选择题（1）大数据相关技术主要包括以下两方面：A.数据库技术和数据可视化技术B.数