PySpark大数据技术与应用 课件 3.1 Spark SQL概述

SparkSQL概述1SparkSQL主要功能目录SparkSQL起源与发展历程2SparkSQL数据核心抽象DataFrame3SparkSQL是Spark用于处理结构化数据的一个组件，其编程抽象为DataFrame。作为分布式SQL查询引擎，SparkSQL允许用户通过SQL、DataFrameAPI和DataSetAPI这3种方式处理结构化数据。SparkSQL将关系处理与Spark函数编程相结合，并支持读取多种数据源的数据，如CSV、JSON、JDBC、Hive等。Spark

SQL概述SparkSQL的起源与发展紧密相连于大数据处理技术的进步和需求，其前身是Shark，后来为了支持更广泛的数据源和优化性能，发展为全新的SparkSQL项目。SparkSQL的起源可以追溯到Hive。Hive作为Hadoop生态系统中的组件，主要服务于熟悉SQL但不熟悉MapReduce编程模型的用户，它允许数据分析师使用SQL语句来操作HDFS上的数据。然而，Hive在执行过程中存在大量的中间磁盘落地过程，导致效率低下。为了提高SQL-on-Hadoop的效率，Shark作为响应此需求的解决方案之一被提出。Shark修改了Hive架构中的内存管理、物理计划、执行模块，并运行在Spark引擎上，使得SQL查询速度得到显著提升。Spark

SQL的起源与发展随着技术的发展，Shark对Hive的过度依赖成为了限制Spark发展的瓶颈。因此，Spark团队决定抛弃Shark的代码，转而开发全新的SparkSQL项目。SparkSQL不仅摆脱了对Hive的依赖，还支持多种数据源，如Hive、Parquet、JSON、JDBC等，同时采用了多种性能优化技术，比如内存列存储、字节码生成和动态评估的成本模型等。从历史的角度来看，SparkSQL的出现和发展体现了开源社区对于技术迭代的能力，即不断推陈出新，以适应不断变化的数据处理需求。如今，SparkSQL已经成为ApacheSpark生态中最为活跃的子项目之一，它的重要性伴随着ApacheSpark的发展而日益突显。Spark

SQL的起源与发展1SparkSQL主要功能目录SparkSQL起源与发展历程2SparkSQL数据核心抽象DataFrame3SparkSQL允许开发人员通过SQL语句简单快捷地操作海量结构化数据，进行大数据分析。多数据源支持：从各种结构化文件和数据库中读取数据进行高效分析。广泛的连接性：提供JDBC和ODBC接口，不局限于Spark程序内查询。紧密集成的分析能力：将SQL查询与RDD结合，提供跨语言API支持复杂分析。模块化协作：与Streaming、MLlib、GraphX等模块紧密结合处理结构化数据。SparkSQL主要功能1SparkSQL主要功能目录SparkSQL起源与发展历程2SparkSQL数据核心抽象DataFrame3DataFrame：

SparkSQL的核心数据抽象，结合了RDD的弹性与SQL的操作便捷性定义与结构：带模式的RDD（SchemaRDD），提供名称和类型信息创建方式：支持从结构化文件、数据库、Hive表等多源创建API支持：Scala、Java、Python、R语言的API兼容性高级特性：自Spark1.6起，DataSetAPI为DataFrame带来类型安全扩展SparkSQL数据核心抽象DataFrame1.DataFrame概念NameAgeHeightStringIntDoubleStringIntDoubleStringIntDoubleDataFrame和RDD的共同特征不可变性：一旦创建，DataFrame和RDD中的数据不能被修改。如进行任何变更，会生成一个新的数据集。内存运行：在内存中执行计算，这样可以显著提高处理速度。弹性分布式计算能力：利用Spark的弹性分布式数据集的特性来处理大规模数据。SparkSQL数据核心抽象DataFrame2.

DataFrame与RDD比较DataFrame与RDD的主要区别数据结构：DataFrame提供了一种高层次的抽象，类似于传统数据库中的二维表格，具有行和列。而RDD是一个分布式的弹性数据集，可以看做是一个不可变的分布式对象集合。数据处理：DataFrame专注于结构化数据，RDD适用于各类数据源，尤其是非结构化数据。性能优化：DataFrame可以利用其结构化特性进行性能优化，比如执行代码生成和列式存储等，这些在RDD中不常见。API支持：DataFrame提供了更丰富的SQL类操作接口，而RDD的API更偏向于低层次的操作。SparkSQL数据核心抽象DataFrameDataFrame与RDD虽然都是Spark中重要的数据结构，但DataFrame通过提供结构化视图，使得数据处理更加直观和高效，而RDD则在处理非结构化数据时展现出更大的灵活性。SparkSQL数据核心抽象DataFrameDataFrame和DataSet都是SparkSQL中的重要数据结构，它们在类型系统、API支持和功能定位上存在一些差异。类型系统：DataFrame是DataSet[Row]的特例，它的每一行数据类型固定为Row。DataFrame通常只知道列字段，而不明确每一列的数据类型，在编译时不做类型检查。而DataSet是一个强类型的数据结构，用户需要定义具体的类（如Car类、Person类），DataSet知道每一列的名称和数据类型，提供了更严格的错误检查机制。SparkSQL数据核心抽象DataFrame3.

DataFrame与DataSet的比较API支持：DataFrame提供了丰富的SQL类操作接口，可以方便地进行数据选择、过滤、聚合等操作。DataSet则提供了更为丰富的API，包括了DataFrame的API以及更多针对特定类型的操作，这使得DataSet能够提供更高层次的抽象和更强的类型安全性。功能定位：DataFrame主要用于结构化数据处理，它可以看作是传统数据库中二维表格的一种分布式实现。而DataSet则结合了RDD和DataFrame的优点，不仅提供了结构化数据的处理能力，还允许用户自定义数据类型，从而可以进行更加复杂的数据处理和分析。总结来说，DataFrame和DataSet虽然在SparkSQL中都扮演着重要的角色，但DataFrame更适合那些不需要明确类型信息的通用数据处理任务，而DataSet则适用于需要强类型和复杂业务逻辑处理的场景。SparkSQL数据核心抽象DataFrameDataFrame为开发人员提供了更高级别的数据抽象，使得处理大型数据集更加容易。DataFrame优点主要体现在以下两个方面。性能优势：由于DataFrame引入了Schema，即数据结构的描述信息，因此后期Spark程序中的大量对象在进行网络传输时，只需针对数据的内容进行序列化，而无需传输数据结构信息。这样可以减少数据传输量，降低序列化和反序列的性能开销，弥补了RDD在这方面的不足。减少内存垃圾回收：DataFrame利用了堆外内存（Off-heap），直接在操作系统层上构建对象，而不是使用堆中的内存。这样可以节省堆内存空间，减少垃圾回收（GarbageCollection，GC）的频率，提高程序运行效率，弥补了RDD在堆内存占用和垃圾回收方面的不足。

SparkSQL数据核心抽象DataFrame4.

DataFrame的优点DataFrame在编译时不会进行类型检查，因而无法在编译时发现错误