能源大数据分析理论与实践 课件 1.大数据概述；2.数据获取与预处理

大数据概述01BigDataOverview大数据概念BigDataConcept1.1.1大数据定义与含义定义大数据（BigData）是一种大规模的包括结构化数据和非结构化数据的复杂数据集合，大大超出了传统软件和工具的处理能力。简单来说，大数据就是规模大、增长快、类型复杂且需要新的技术和工具进行处理的数据集合，是一种重要的信息资产。价值大数据的核心价值在于通过分析海量数据可以获得巨大的价值，大数据技术就是指从各种类型的数据中快速获得有价值信息的方法和工具。应用大数据的核心价值在于通过分析海量数据可以获得巨大的价值，大数据技术就是指从各种类型的数据中快速获得有价值信息的方法和工具。1.1.2大数据的特征规模数据开始爆发式增长，大数据中的数据不再以GB或TB为单位来计量，而以PB、EB或ZB为计量单位。速度指数据增长速度快，也指数据处理速度快。多样性主要体现在数据来源多、数据类型多。质量指数据的准确性和可信赖度。现有的所有大数据处理技术均依赖于数据质量，这是获得数据价值的关键基础。价值数据来源多、数据规模大，但是价值密度较低，是大数据的一大特征。1.1.3数据类型结构化数据结构化数据是最常见的数据类型之一，它是以固定格式和结构存储的数据，通常以表格形式呈现，包含预定义的字段和特征。半结构化数据半结构化数据是介于结构化数据和非结构化数据之间的一种数据类型，它具有一定的结构，但不像结构化数据那么规范。通常以HTML、XML、JSON等格式存在。非结构化数据非结构化数据是最具挑战性的数据类型之一，这类数据没有预定义的结构和格式，通常以文本、图像、音频或视频等形式存在。大数据可以分为结构化数据、半结构化数据和非结构化数据，三种数据具有不同的特点和处理方式。在实际的应用中，需要根据数据类型的不同选择合适的处理方式和工具，以便进行有效的数据存储、处理和分析。大数据应用Bigdataapplication1.2大数据的应用商业和市场分析健康医疗交通与城市规划金融与风险管理社交媒体和舆情分析科学研究和探索大数据的应用范围广泛，它在许多其他行业中发挥着重要作用。以下是大数据的一些典型应用领域。除此以外，能源领域的大数据应用也非常广泛。例如，在能源生产优化方面，通过实时监测传感器数据和设备状态，能源企业可以实现设备智能化维护，缩短停机时间，并预测潜在故障，从而提高生产效率和资源利用效率；在节能与减排优化方面，通过分析能源生产和消费的数据，能源企业可以找到节能的潜力和优化方案，还可以帮助评估和监控减排措施的效果，推动能源企业向低碳和可持续发展方向转型；在能源市场预测方面，通过分析历史市场数据、经济指标等，能源企业可以预测未来的能源需求和价格趋势，做出相应的资源配置和市场决策。大数据处理流程BigDataProcessing

Process1.3.1大数据处理的基本流程通过有效地采集、处理和应用大数据，企业和组织可以从复杂的数据来源中提取有价值的信息，进行统计分析和挖掘，从而服务于决策分析。大数据处理的基本流程涵盖了从数据采集到数据可视化的全过程，包括四个主要步骤：数据采集、数据预处理、数据统计分析和数据挖掘、数据可视化。数据预处理包括数据清洗、数据转换和数据存储三个步骤。1.3.2数据采集数据采集又称数据获取，是指从传感器和其他测量设备等模拟和数字被测单元中自动采集信息的过程。数据来源较为复杂，包括传感器、社交网络、网站、移动应用程序、物联网设备等。数据类型较多，根据产生来源不同可以将数据分为交易数据、人为数据、移动数据、机器和传感器数据等。由于数据来源的不同，数据采集方式具有很大的不同，包括爬虫技术、API技术、传感器技术等。数据采集需要针对不同的数据来源选择不同的工具和技术，确保数据的准确性和完整性。1.3.3数据预处理数据预处理包括数据清洗、数据转换和数据存储。数据清洗是指去除无用数据、缺失数据和错误数据等。解决数据质量问题：①数据的完整性②数据的唯一性③数据的权威性④数据的合法性⑤数据的一致性数据转换是将数据从一种格式或结构转换为另一种格式或结构的过程，对于数据集成和数据管理等活动较为重要。包括：①数据集成②数据变换③数据归约数据存储是指将巨量的结构化数据和非结构化数据存储到集群中，并以可扩展、高可用性及高容错性的形式安全存储、处理和管理数据。存储数据的方式有很多选择，包括关系型数据库、非关系型数据库、文件系统等。1.3.4数据统计分析和数据挖掘数据统计分析是大数据处理流程中的关键步骤之一，它涉及对采集和清洗后的数据进行分析和总结，以获得对数据的基本描述和洞察。用于大数据统计分析的方法主要如下：描述性分析探索性分析非参数方法时间序列分析数据挖掘是指利用一些高级算法和技术，如机器学习、深度学习、自然语言处理等，对数据包含的信息进行深度分析。主要任务包括关联分析、聚类分析、分类分析、异常分析、特异群组分析和演变分析等。数据挖掘技术可以分为以下几类：①分类②预测③相关性分组（或关联规则）④聚类。机器学习是数据挖掘的一种手段。利用机器学习提供的统计分析、知识发现等手段分析海量数据，同时利用数据存取技术实现数据的高效读写。大数据环境下的机器学习采用分布式和并行计算的方式进行分治策略的实施。机器学习的方法种类有很多，传统的研究方向有决策树、随机森林、人工神经网络、贝叶斯学习等。1.3.5数据可视化数据可视化是指以图形、图表的形式将原始的信息和数据表示出来。也就是通过对数据进行采集、清洗、分析，将所示分析结果通过图形、图表等形式展示出来的一个过程。传统的数据可视化方法包括表格、直方图、散点图、折线图、柱状图、饼图、面积图、流程图等，图表的多个数据系列或组合也较为常用，还包括平行坐标系、树状图、锥形树图和语义网络等。数据可视化并非仅包括静态形式，还包括动态（交互）形式。当前的数据可视化工具：

Tableau：提供了丰富的图表类型和交互功能，支持多种数据源。MicrosoftPowerBI：用于创建交互式仪表板和报表。python：有许多库和工具可以实现数据可视化。大数据平台技术BigDataPlatform

Technology1.4.1大数据系统生态大数据的“5V”特征决定了大数据不是一种技术或一个软件就能完成的，必须是一个生态圈，各组件共同完成其存储、计算、分析等任务。这个生态圈涵盖了各种不同的组成部分，涉及数据采集、存储、处理、分析、可视化、安全和隐私等方面。在这个生态圈中，各个组成部分相互连接，共同协作，形成了一个完整的大数据处理和应用的生态系统。Hadoop是一种分布式计算框架，其核心包含HDFS（HadoopDistributedFileSystem）和MapReduce。HDFS为海量的数据提供了存储功能，MapReduce则为海量的数据提供了计算功能。Hadoop作为分布式软件框架具有可靠性高、扩展性高、效率高、容错性高和成本低等优点。Spark启用了内存分布数据集，除能够提供交互式查询功能外，还可以优化迭代工作负载。1.4.1大数据系统生态Hadoop和Spark在大数据生态圈中相互补充，它们可以一起使用，也可以单独使用，取决于具体的应用场景和需求。当需要处理大规模的静态数据集时，特别是对于离线批处理任务，Hadoop的MapReduce是一个很好的选择。对于需要更快速的数据处理和更多的交互性的应用场景，Spark是更优的选择。Hadoop和Spark作为大数据生态圈中的两个重要组件，各自有着不同的优势和应用场景，它们共同构建了一个完整而多样化的大数据处理和分析生态系统。1.4.2大数据存储与管理数据存储与管理是非常重要的，主要涉及数据库、数据仓库、数据湖等概念，以及分布式文件系统和HDFS等技术。数据库是按照数据结构来组织、存储和管理数据的仓库。数据库可以分为关系型数据库与非关系型数据库。企业往往会结合两者的优点，将两者结合使用。关系型数据库是指采用了关系模型来组织数据的数据库，如Oracle、SQLServer、MySQL等；非关系型数据库是以对象为单位的数据结构，其中的数据以对象的形式存储在数据库中，而对象之间的关系通过每个对象自身的特征来决定，如HBase、Redis、MongoDB、Neo4j等。两者的区别如下：①数据存储方式不同②扩展方式不同③对事务性的支持不同。1.4.2大数据存储与管理数据存储与管理是非常重要的，主要涉及数据库、数据仓库、数据湖等概念，以及分布式文件系统和HDFS等技术。为了避免冷数据与历史数据收集对业务数据库产生影响，就需要使用数据仓库。数据仓库（DataWarehouse）是为企业所有级别的决策制定过程提供所有类型数据支持的战略集合。其架构一般分为三层：数据源层、数据仓库层和数据应用层，其中，数据源层是指从各种数据源中获取数据的过程。数据湖作为一个原始的大型数据集，处理不同来源的原始数据，并支持不同的用户需求。它是一种数据存储架构，它可以容纳大量不同类型和格式的数据，通常使用分布式存储和处理技术。1.4.2大数据存储与管理分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上而是通过计算机网络与节点相连，或者是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的、有层次的文件系统。HDFS是Hadoop生态系统中的一部分，是一个开源的分布式文件系统，用于存储和管理大规模数据。其支持大数据处理，能够有效处理海量数据的存储和访问，是大数据处理中最重要的分布式文件系统之一。1.4.3大数据计算与处理云计算是一种通过互联网提供计算资源和服务的模式，为用户提供了灵活、高效、富有弹性和成本效益的解决方案。云计算与大数据的区别：云计算是基础，没有云计算，就无法实现大数据存储与计算；大数据是应用，没有大数据，云计算就缺少了目标与价值。服务模型：①基础设施即服务②平台即服务③软件即服务。优势：①用户可以根据需求快速获得所需计算资源，无须事先投资和购买硬件设施，也不用担心资源的浪费；②提供高度自动化的资源管理和配置，资源调配更加高效和智能，用户可以根据需求快速扩展或缩减计算资源，以适应不断变化的工作负载，实现资源的弹性伸缩。1.4.3大数据计算与处理批处理是指将一系列命令或程序按顺序组合在一起，在一个批处理文件中批量执行。批处理是一种数据处理模式，适用于对静态数据集进行处理和分析。在大数据处理中，批处理是处理大规模历史数据的常用方法，它可以在离线状态下进行计算，以获得全面的数据分析和洞察。目前，使用较多的批处理计算引擎有MapReduce和Spark。MapReduce可以有效解决海量数据的计算问题，都包含Map过程和Reduce过程。MapReduce框架和分布式文件系统是运行在一组相同的节点上的。1.4.3大数据计算与处理流处理是一种对实时数据流进行即时处理和分析的方式。流处理能够实现对数据的实时处理和响应，适用于需要快速获取实时数据洞察和做出实时决策的场景。Spark的SparkStreaming和Storm是比较早的流处理框架，从一端读取实时数据的原始流，将其传递通过一系列小处理单元，并在另一端输出处理后的、有用的信息。Storm是Twitter开源的分布式实时大数据处理框架，从一端读取实时数据的原始流，将其传递通过一系列小处理单元，并在另一端输出处理后的、有用的信息。Storm是一个分布式实时计算系统，采用了类似MapReduce的拓扑结构。SparkStreaming属于Spark的一个组件，是基于批的流式计算框架。它在处理数据流之前，会按照时间间隔对数据流进行分段切分。1.4.3大数据计算与处理HBase是一种开源的分布式列式存储数据库，它适用于大规模数据的存储和查询，可以以低成本来存储海量的数据并且支持高并发的随机写和实时查询。HBase交互式分析是指通过HBase进行数据查询和分析，并实时获取结果。用户需要根据数据的类型和格式选择合适的导入方法。HBase作为一种高性能、高可靠性的存储解决方案，为大数据行业提供了强大的数据查询和分析能力，帮助实现高效、智能的数据处理与应用。思考题阐述大数据的五大基本特征。大数据时代的数据类型包含哪些？大数据处理的基本流程是什么？大数据平台Hadoop和Spark的区别和联系有哪些？什么是数据库、数据仓库与数据湖？三者的区别与联系是什么？HDFS是一种分布式文件系统，其架构和数据存储机制是什么？什么是MapReduce？请给出一个例子并描述其计算过程。Thankyou!数据获取与预处理02DataAcquisitionAndPreprocessing数据获取与预处理概述DataAcquisitionAndPreprocessingOverview2.1.1数据获取在现实应用中，多个源系统的数据兼容性较差，因此需要对获取的异构数据进行处理。ETL方法提供了一个数据获取与预处理的标准流程和技术工具。数据获取是指从各种相关数据源获取数据的过程，也指ETL的数据获取环节，是数据分析与挖掘的基础。数据获取是ETL处理的第一步，也是最重要的一步，数据被成功获取后，才可以进行转换并加载到数据仓库中。2.1.1数据获取传统数据获取和大数据获取有如下不同：数据源方面，传统数据获取的数据源单一，而大数据获取系统还需要从社交系统、互联网系统及各种类型的机器设备上获取数据。数据量方面，互联网系统和机器系统产生的数据量要远远大于企业系统产生的数据量。数据结构方面，传统数据获取系统获取的数据都是结构化数据，而大数据获取系统需要获取大量的视频、音频、照片等非结构化数据，以及网页、博客、日志等半结构化数据。数据产生速度，传统数据获取系统获取的数据几乎都是由人操作生成的，远远慢于机器生成数据的速度。2.1.2数据清洗与数据转换在一般情况下，数据仓库分为ODS、DW两个部分。ODS是数据库到数据仓库的一种过渡，数据结构一般与数据源保持一致，便于减少ETL的工作复杂性，而且ODS的数据周期一般比较短。ODS的数据最终流入DW，DW是数据的归宿，这里保存着所有从ODS到来的数据，而且这些数据不会被修改。数据转换：它是在ODS到DW的过程中转换的，将数据转换为适用于查询和分析的形式和结构。数据从操作型源系统获取后，需要进行多种转换操作，通常是最复杂的部分，也是ETL处理中用时最长的一步。数据清洗：数据转换一个最重要的功能是数据清洗，目的是只有“合规”的数据才能进入目标数据仓库。这步操作在不同系统间交互和通信时尤为必要。2.1.3数据加载数据加载就是将转换后的数据导入目标数据仓库中。这步操作需要重点考虑两个问题，一是数据加载的效率问题，二是一旦加载过程中失败了，如何再次执行加载过程。要提高数据加载的效率，加快加载速度，可以采用如下两种做法：保证足够的系统资源。在进行数据加载时，禁用数据库约束（唯一性、非空性、检查约束等）和索引，当加载过程完全结束后，再启用这些约束，重建索引。ETL系统一般会从多个应用系统中整合数据，常用实现方法有三种：借助ETL工具采用SQL方式ETL工具和SQL方式相结合为了提高ETL处理的效率，通常数据获取、数据转换、数据加载操作会并行执行。数据获取技术DataAcquisitionTechnique2.2.1数据获取技术概述数据获取需要在调研阶段做大量的工作。如果已经明确了需要获取的数据，下一步就该考虑从源系统获取数据的方法了。数据获取方法的选择高度依赖于源系统和目标数据仓库环境的业务需要。随着大数据的蓬勃发展，数据获取的来源广泛且数据量巨大，数据类型丰富，包括结构化数据、半结构化数据、非结构化数据，它们大多存在于分布式数据库中。目前大数据获取主要方法如下：数据库获取系统日志获取网络数据获取感知设备数据获取针对软件系统的数据获取，有如下三种方式：接口对接方式开放数据库方式基于底层数据交换的数据直接获取方式2.2.2网络爬虫网络爬虫可以按照我们制定的规则自动浏览网络中的数据，这些规则称为网络爬虫算法。网络爬虫由控制节点、爬虫节点、资源库构成。控制节点主要负责根据URL分配线程，并调用爬虫节点进行具体的爬取爬虫节点会按照相关的算法，对网页进行具体的爬取，爬取后会将爬取结果存储到对应的资源库中。通用网络爬虫通用网络爬虫的爬取目标是整个互联网上的所有网页。主要由初始URL集合、URL队列、网页爬取模块、网页分析模块、网页数据库、链接过滤模块等构成。通用网络爬虫在爬取的时候会采取一定的爬取策略，主要有深度优先策略和广度优先策略。这类网络爬虫主要应用于大型搜索引擎中，有非常高的应用价值。聚焦网络爬虫聚焦网络爬虫是按照预先定义好的主题有选择地进行网页爬取的一种爬虫。可以大大节省爬虫爬取时所需的带宽资源和服务器资源。聚焦网络爬虫应用在对特定信息的爬取中，主要为某一类特定的人群提供服务，主要由初始URL集合、URL队列、网页爬取模块、网页分析模块、网页数据库、链接过滤模块、内容评价模块、链接评价模块等构成。聚焦网络爬虫的爬取策略主要有四种：基于内容评价的爬取策略基于链接评价的爬取策略基于强化学习的爬取策略基于语境图的爬取策略增量式网络爬虫增量式更新指在更新的时候只更新改变的地方，未改变的地方则不更新，所以只爬取内容发生变化的网页或新产生的网页，对于未发生内容变化的网页则不会爬取。深层网络爬虫在互联网中，按存在方式分类，网页可以分为表层网页和深层网页：表层网页：不需要提交表单，使用静态的链接就能够到达的静态网页；深层网页：隐藏在表单后面，不能通过静态链接直接获取，是需要提交一定的关键词之后才能够到达的网页。在互联网中，深层网页的数量往往比表层网页的数量要多很多，因此需要深层网络爬虫。深层网络爬虫在爬取深层网页时需要自动填写好对应的表单，表单填写方式有两种：①基于领域知识的表单填写：建立一个填写表单的关键词库，在需要填写的时候，根据语义分析选择对应的关键词进行填写。②基于网页结构分析的表单填写：会根据网页结构进行分析，并自动地进行表单填写，一般在领域知识有限的情况下使用。数据预处理DataPre-processing2.3.1数据质量数据质量是指数据在特定应用环境中是否满足预期的要求。包括以下几个方面：准确性：数据与实际情况的符合程度，数据值与实际值的一致性高低。完整性：数据是否包含了需要的全部信息，有无遗漏或缺失。一致性：数据在不同的数据源、数据记录等方面是否保持一致，数据之间有无冲突或矛盾。及时性：数据是否及时地进行采集、处理、传输和更新，以保证数据的实效性和时效性。可理解性：数据是否易于被理解，数据结构和格式是否清晰，数据值和字段是否具有明确的含义。可靠性：数据是否可信、可靠，其产生的过程和来源是否可靠，数据是否经过验证和核实。可用性：指数据是否易于访问、检索和使用，数据存储和管理系统的性能是否足够高效。导致数据质量不高的根源主要如下：数据采集问题数据存储问题数据处理问题数据管理问题数据使用问题2.3.2数据清洗数据清洗是审查和校验数据的过程，旨在删除重复信息、纠正错误并确保一致性。缺失数据处理：删除缺失数据：适用于少量缺失且影响较小时，但可能引入样本偏差。插补缺失数据：适用于缺失较多或影响较大时。插补的方法可以分为三类：（1）均值插补（2）回归插补（3）多重插补创建指示变量：对于分类变量的缺失数据，新增指示变量（0/1）标记缺失情况，避免插补误差。其他：利用聚类或专门模型处理缺失数据。在处理缺失数据时，还需要注意以下三个问题：①缺失数据的模式②数据的完整性③插补方法的合理性2.3.2数据清洗噪声数据是指数据中存在错误或异常（偏离期望值）的数据，即测量变量中存在随机误差或方差。噪声数据处理：分箱：通过考察相邻数据来确定最终值。

分箱的方法有四种：（1）等深分箱法（2）等宽分箱法（3）用户自定义区间法（4）最小熵法。

在分箱之后，要对每个“箱子”中的数据进行平滑处理：（1）按均值进行平滑处理（2）按中位数进行平滑处理（3）按边界值进行平滑处理。聚类：将数据集合分组为若干个簇，在簇外的值为孤立点，应对这些孤立点进行删除或替换。相似或相邻的数据聚合在一起形成各个聚类集合，在这些聚类集合之外的数据为异常数据。回归：如果变量之间存在函数关系，则可以使用回归分析方法进行函数拟合，通过使用拟合值或平滑数据来更新变量数值，从而实现噪声数据去除。2.3.3数据集成数据集成是将来自不同数据源的数据整合到统一的数据集中，以便分析、决策支持和业务应用。其过程涉及数据整合、匹配、冲突解决、质量控制、元数据管理和安全等方面。模式识别和对象匹配是在数据集成过程中的两个重要任务，用于识别和匹配不同数据源中的模式和对象，以提高数据集成的准确性和效率。模式识别：对表征事物或现象的模式进行自动处理和判读。对象匹配：将不同数据源中的对象进行匹配和对应。在进行模式识别和对象匹配时，需要考虑以下几个方面：①特征提取：在进行模式识别和对象匹配时，需要选择合适的特征并进行提取。②相似度度量：方法包括欧氏距离、曼哈顿距离、余弦相似度等。③匹配算法：算法包括基于规则的匹配、基于机器学习的匹配、基于统计的匹配、基于图的匹配等。④冲突解决：可以通过规则、投票机制、权重分配、机器学习等方法来确定最佳匹配结果。2.3.3数据集成数据冗余是指数据存储或集成过程中产生的重复或多余数据，包括重复数据和无关数据。需处理数据冗余以减少存储占用和分析误差。可通过一下几种方式来实现：规则和约束：通过定义规则和约束来防止数据冗余的产生。数据规范化：数据规范化是一种将数据划分成更小、更规范的单元的过程。数据清洗和去重：去除重复和冗余的数据。数据合并和归约：将重复和冗余的数据进行合并和归约。数据压缩：通过编码或压缩技术减少存储占用。数据分析和挖掘：通过数据分析和挖掘技术，可以识别和消除数据冗余。2.3.3数据集成在数据集成过程中，不同数据源可能存在冲突（如值、格式、单位、覆盖范围不一致）。为确保数据质量和准确性，需要进行冲突检测与处理。步骤如下：（1）确定冲突类型。常见类型包括数据值、格式、单位或覆盖范围不同。（2）数据冲突检测。利用算法或规则检测相同实体在不同数据源中的特征是否一致或存在矛盾。（3）冲突解析。当发现冲突时，需要进行冲突解析来确定集成数据的准确值。常见的冲突解析方法如下：①人工解析②投票机制③权重分配④规则和模型。（4）冲突解析后的数据集成。应用解析后的数据，形成最终集成结果。冲突检测与处理较复杂，需根据数据需求、质量要求和冲突类型选择合适方法，并考虑数据源的可靠性和权威性。2.3.4数据转换数据转换是数据预处理的重要环节，通过转换提高数据质量和可用性，使其更适合分析和建模。主要方法包括数据规范化、数据离散化、数据泛化和数据脱敏。数据规范化：将被挖掘对象的特征数据按比例缩放，使其落入一个小的特定区间。常用方法有三种：①小数定标规范化：将原始数据除以一个固定值，将数据映射到[-1,1]之间。②最小值—最大值规范化：将原始数据映射到0～1之间的特定区间，保留数据的相对大小关系。③Z-Score规范化：将原始数据转化为均值为0、标准差为1的标准正态分布。2.3.4数据转换数据离散化：将连续型数据转换为离散型数据的过程，将数据划分为若干个区间或类别。常见方法如下：①等宽离散化：将数据根据固定的宽度划分为若干个区间，每个区间的宽度相同。②等频离散化：将数据根据相同的样本数量划分为若干个区间，每个区间中包含的样本数量相同。③聚类离散化：用聚类算法将数据聚类为若干个簇，每个簇表示一个离散化的类别。④决策树离散化：使用决策树算法将连续型数据转换为决策树的划分节点，将数据分为不同的类别。2.3.4数据转换数据泛化：把较低层次的概念用较高层次的概念替换来汇总数据，或者通过减小维度，在较小维度的概念空间中汇总数据。常用的方法如下：①基于数据立方体的数据聚集：用于从多维数据集中提取有用的信息。数据立方体是一个多维数组，其中每个维度表示数据的一个特征，构建步骤：选择维度→设计度量→聚合数据→构建数据立方体。②面向特征的归纳：旨在从数据中归纳出特征间的关系、规律和模式。主要过程包括以下步骤：

特征选择→归纳分析→模式评估与验证。2.3.4数据转换数据脱敏：通过对敏感数据进行部分或完全的删除、替换或隐藏，以抹去个人敏感信息。常见方法如下：①删除（Deletion）：直接删除或部分删除包含敏感信息的数据。②替换（Substitution）：将敏感数据替换为不可识别的伪造值。③脱敏屏蔽（Masking）：在数据中通过覆盖、屏蔽或空白值等方式隐藏敏感信息，以避免敏感信息的识别。④加密（Encryption）：使用加密算法对敏感信息进行加密，只有授权的用户才能解密和访问。具体方法的选择取决于数据类型、隐私需求和分析任务。2.3.5数据归约数据归约是在保持数据原貌的前提下，最大限度地精简数据，以降低数据规模。主要包括维归约和数据归约两种方法。维归约：目的是将高维数据集转换为低维表示，以减少数据集的维度并保留主要的信息。①特征集选择（FSS)：筛选最相关和有价值的特征，去除无关或冗余特征。②主成分分析(PCA)：将高维数据映射到低维子空间，提取主要特征。③线性判别分析(LDA)：监督学习方法，寻找最能区分类别的投影方向。④非负矩阵分解(NMF)：将高维矩阵分