大数据分析的关键技术课件

6.2大数据分析的关键技术主要教学内容：

大数据采集技术大数据预处理技术大数据存储与管理技术大数据挖掘分析技术大数据展现与应用技术6.2大数据分析的关键技术主要教学内容：大数大数据分析的关键技术

根据大数据分析的流程，大数据分析的关键技术可分为数据采集、数据预处理、数据存储与管理、数据挖掘分析、数据可视化等技术。大数据分析的关键技术提供大数据服务平台所需的虚拟服务器，以及结构化、半结构化和非结构化数据的数据库与物联网资源等基础支撑环境。一、大数据采集技术

大数据采集是指通过射频识别（RadioFrequencyIdentification，RFID）数据、传感器数据、社交网络交互数据、移动互联网数据等渠道或方式，获得各种类型的结构化、半结构化（或称弱结构化）以及非结构化的海量数据的过程。大数据采集系统主要由大数据智能感知层、基础支撑层等组成。（1）大数据智能感知层：在该层必须着重攻克大数据源的智能识别、感知、适配、传输、接入等技术。（2）基础支撑层：在该层需要重点攻克分布式虚拟存储技术，大数据获取、存储、组织、分析和决策操作的可视化接口技术，大数据的网络传输与压缩技术，大数据隐私保护技术等。主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输以及信号转换、监控、初步处理和管理等。提供大数据服务平台所需的虚拟服务器，以及结构化、半结构化和非二、大数据预处理技术

大数据预处理技术主要完成对已接收数据的辨析、抽取、清洗等操作。

（1）抽取

（2）清洗因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助人们将这些复杂的数据转化为单一的或者便于处理的结构和类型，以达到快速分析处理的目的。大数据并不全都是有价值的，有些数据并不是人们所关心的内容，而另一些数据则可能是完全错误的干扰项，因此，要对数据进行过滤“去噪”从而提取出有效数据。二、大数据预处理技术因获取的数据可能具有多种结构和类型，数据三、大数据存储与管理技术大数据存储与管理技术主要包括以下几方面的技术。（1）复杂结构化、半结构化和非结构化大数据管理与处理技术。（2）开发新型数据库技术。（3）高效、低成本的大数据存储技术。（4）大数据可视化技术。（5）大数据安全技术。此类技术包括改进数据销毁、透明加解密、分布式访问控制、数据审计技术等，以及突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。此类技术主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等关键问题。此类技术包括分布式非关系型大数据管理与处理技术、异构数据的数据融合技术、数据组织技术、大数据建模技术、大数据索引技术等。此类技术包括开发可靠的分布式文件系统，实现存储、计算融入存储、大数据的去冗余等，以及大数据移动、备份、复制等技术。数据库分为关系型数据库、非关系型数据库等。三、大数据存储与管理技术此类技术包括改进数据销毁、透明加解密数据科学1.数据科学技能和熟练程度在上表中列出的这25项技能，反映了通常与数据科学家相关的技能集合。在进行针对数据科学家的调查中，调查者要求数据专业人员指出他们在25项不同数据科学技能上的熟练程度。这项研究数据基于620名被访的数据专业人士，具备某种技能的百分比反映了指出他在该技能上至少中等熟练程度的被访问者比例职位角色，即：商业经理=250；开发人员=222；创意人员=221；研究人员=353。数据科学1.数据科学技能和熟练程度在上表中6数据科学2.重要数据科学技能分析表明，所有数据专业人员中最常见的数据科学十大技能是：统计–沟通（87%）技术–处理结构化数据（75%）数学&建模–数学（71%）商业–项目管理（71%）统计–数据挖掘和可视化工具（71%）统计–科学/科学方法（65%）统计–数据管理（65%）商业–产品设计和开发（59%）统计–统计学和统计建模（59%）商业–商业开发（53%）数据科学2.重要数据科学技能分析表明，所有数据专业人7数据科学3.因职业角色而异的十大技能（1）商业经理：统计–沟通（91%）商业–项目管理（86%）商业–商业开发（77%）技术–处理结构化数据（74%）商业–预算（71%）商业–产品设计和开发（70%）数学&建模–数学（65%）统计–数据管理（64%）统计--数据挖掘和可视化工具（64%）商业–管理和兼容性（61%）数据科学3.因职业角色而异的十大技能（1）商业经理：8（2）开发人员：技术–管理结构化数据（91%）统计–沟通（85%）统计–数据挖掘和可视化工具（76%）商业–产品设计（75%）数学&建模–数学（75%）统计–数据管理（75%）商业–项目管理（74%）编程–数据库管理（73%）编程–后端编程（70%）编程–系统管理（65%）数据科学（2）开发人员：技术–管理结构化数据（91%）数据科学9数据科学（3）创意人员：统计–沟通（87%）技术–处理结构化数据（79%）商业–项目管理（77%）统计–数据挖掘和可视化工具（77%）数学&建模–数学（75%）商业–产品设计和开发（68%）统计–科学/科学方法（68%）统计–数据管理（67%）统计–统计学和统计建模（63%）商业–商业开发（58%）数据科学（3）创意人员：统计–沟通（87%）10四、大数据挖掘分析技术

从挖掘任务和挖掘方法的角度，大数据挖掘分析的关键技术如下：

（1）可视化分析

（2）数据挖掘分析

（3）预测性分析

（4）语义引擎

（5）数据质量和数据管理数据图像化是将机器语言以人类能够理解的形式呈现出来，让用户直观地看到结果。数据挖掘采用机器语言，通过分割、集群、孤立点分析等算法精练数据、挖掘价值。要求这些算法既能够应付大量的数据，还要具有很高的处理速度。可以让数据分析师根据图像化分析和数据挖掘的结果做出一些前瞻性判断。语义引擎需要有足够的人工智能，以便它能从数据中主动提取信息。语义处理技术包括机器翻译、情感分析、舆情分析、智能输入、问答系统等。通过标准化流程和机器对数据进行处理，可以确保获得与预期质量相符合的分析结果。四、大数据挖掘分析技术数据图像化是将机器语言以人类能够理解的五、大数据展现与应用技术

大数据展现与应用技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。

在我国，大数据重点应用于人工智能、政府决策、公共服务三大领域。五、大数据展现与应用技术大数据分析的关键技术课件谢谢！THEEND谢谢！THEEND6.2大数据分析的关键技术主要教学内容：

大数据采集技术大数据预处理技术大数据存储与管理技术大数据挖掘分析技术大数据展现与应用技术6.2大数据分析的关键技术主要教学内容：大数大数据分析的关键技术

根据大数据分析的流程，大数据分析的关键技术可分为数据采集、数据预处理、数据存储与管理、数据挖掘分析、数据可视化等技术。大数据分析的关键技术提供大数据服务平台所需的虚拟服务器，以及结构化、半结构化和非结构化数据的数据库与物联网资源等基础支撑环境。一、大数据采集技术

大数据采集是指通过射频识别（RadioFrequencyIdentification，RFID）数据、传感器数据、社交网络交互数据、移动互联网数据等渠道或方式，获得各种类型的结构化、半结构化（或称弱结构化）以及非结构化的海量数据的过程。大数据采集系统主要由大数据智能感知层、基础支撑层等组成。（1）大数据智能感知层：在该层必须着重攻克大数据源的智能识别、感知、适配、传输、接入等技术。（2）基础支撑层：在该层需要重点攻克分布式虚拟存储技术，大数据获取、存储、组织、分析和决策操作的可视化接口技术，大数据的网络传输与压缩技术，大数据隐私保护技术等。主要包括数据传感体系、网络通信体系、传感适配体系、智能识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化的海量数据的智能化识别、定位、跟踪、接入、传输以及信号转换、监控、初步处理和管理等。提供大数据服务平台所需的虚拟服务器，以及结构化、半结构化和非二、大数据预处理技术

大数据预处理技术主要完成对已接收数据的辨析、抽取、清洗等操作。

（1）抽取

（2）清洗因获取的数据可能具有多种结构和类型，数据抽取过程可以帮助人们将这些复杂的数据转化为单一的或者便于处理的结构和类型，以达到快速分析处理的目的。大数据并不全都是有价值的，有些数据并不是人们所关心的内容，而另一些数据则可能是完全错误的干扰项，因此，要对数据进行过滤“去噪”从而提取出有效数据。二、大数据预处理技术因获取的数据可能具有多种结构和类型，数据三、大数据存储与管理技术大数据存储与管理技术主要包括以下几方面的技术。（1）复杂结构化、半结构化和非结构化大数据管理与处理技术。（2）开发新型数据库技术。（3）高效、低成本的大数据存储技术。（4）大数据可视化技术。（5）大数据安全技术。此类技术包括改进数据销毁、透明加解密、分布式访问控制、数据审计技术等，以及突破隐私保护和推理控制、数据真伪识别和取证、数据持有完整性验证等技术。此类技术主要解决大数据的可存储、可表示、可处理、可靠性及有效传输等关键问题。此类技术包括分布式非关系型大数据管理与处理技术、异构数据的数据融合技术、数据组织技术、大数据建模技术、大数据索引技术等。此类技术包括开发可靠的分布式文件系统，实现存储、计算融入存储、大数据的去冗余等，以及大数据移动、备份、复制等技术。数据库分为关系型数据库、非关系型数据库等。三、大数据存储与管理技术此类技术包括改进数据销毁、透明加解密数据科学1.数据科学技能和熟练程度在上表中列出的这25项技能，反映了通常与数据科学家相关的技能集合。在进行针对数据科学家的调查中，调查者要求数据专业人员指出他们在25项不同数据科学技能上的熟练程度。这项研究数据基于620名被访的数据专业人士，具备某种技能的百分比反映了指出他在该技能上至少中等熟练程度的被访问者比例职位角色，即：商业经理=250；开发人员=222；创意人员=221；研究人员=353。数据科学1.数据科学技能和熟练程度在上表中20数据科学2.重要数据科学技能分析表明，所有数据专业人员中最常见的数据科学十大技能是：统计–沟通（87%）技术–处理结构化数据（75%）数学&建模–数学（71%）商业–项目管理（71%）统计–数据挖掘和可视化工具（71%）统计–科学/科学方法（65%）统计–数据管理（65%）商业–产品设计和开发（59%）统计–统计学和统计建模（59%）商业–商业开发（53%）数据科学2.重要数据科学技能分析表明，所有数据专业人21数据科学3.因职业角色而异的十大技能（1）商业经理：统计–沟通（91%）商业–项目管理（86%）商业–商业开发（77%）技术–处理结构化数据（74%）商业–预算（71%）商业–产品设计和开发（70%）数学&建模–数学（65%）统计–数据管理（64%）统计--数据挖掘和可视化工具（64%）商业–管理和兼容性（61%）数据科学3.因职业角色而异的十大技能（1）商业经理：22（2）开发人员：技术–管理结构化数据（91%）统计–沟通（85%）统计–数据挖掘和可视化工具（76%）商业–产品设计（75%）数学&建模–数学（75%）统计–数据管理（75%）商业–项目管理（74%）编程–数据库管理（73%）编程–后端编程（70%）编程–系统管理（65%）数据科学（2）开发人员：技术–管理结构化数据（91%）数据科学23数据科学（3）创意人员：统计–沟通（87%）技术–处理结构化数据（79%）商业–项目管理（77%）统计–数据挖掘和可视化工具（77%）数学&建模–数学（75%）商业–产品设计和开发（68%）统计–科学/科学方法（68%）统计–数据管理（67%）统计–统计学和统计