数据集成工具：AWS Glue：AWSGlue数据目录使用

上传人：陈*** IP属地：辽宁上传时间：2024-09-20 格式：DOCX 页数：26 大小：31.43KB 积分：6 举报 版权申诉

已阅读5页，还剩21页未读，继续免费阅读

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

数据集成工具：AWSGlue：AWSGlue数据目录使用1数据集成工具：AWSGlue：AWSGlue数据目录使用1.1AWSGlue概览1.1.1AWSGlue的核心组件AWSGlue是一项完全托管的服务，用于简化数据集成任务。它包含三个主要组件：AWSGlue数据目录：存储元数据的中心位置，包括数据表、数据库和数据源的定义。AWSGlueETL作业：使用ApacheSpark或Python编写的脚本，用于提取、转换和加载数据。AWSGlue爬虫：自动发现数据并将其元数据存储在数据目录中。1.1.2AWSGlue的工作原理AWSGlue的工作流程如下：数据发现：使用爬虫扫描数据存储，如AmazonS3、AmazonRDS、AmazonRedshift等，自动识别数据结构和类型。元数据存储：爬虫收集的元数据被存储在数据目录中，形成数据表和数据库的定义。数据转换：通过ETL作业，可以使用ApacheSpark或Python脚本对数据进行转换，以适应不同的数据需求。数据加载：转换后的数据可以加载到目标数据存储，如AmazonRedshift、AmazonS3或AmazonRDS。示例：使用AWSGlue爬虫和ETL作业假设我们有一个存储在AmazonS3中的原始数据集，我们想要将其转换并加载到AmazonRedshift中。步骤1：创建爬虫#使用Boto3创建AWSGlue爬虫

importboto3

client=boto3.client('glue',region_name='us-west-2')

response=client.create_crawler(

Name='exampleCrawler',

Role='service-role/AWSGlueServiceRole-Example',

DatabaseName='exampleDB',

Targets={

'S3Targets':[

{

'Path':'s3://example-bucket/example-data/',

'Exclusions':[

's3://example-bucket/example-data/backup/*',

]

SchemaChangePolicy={

'UpdateBehavior':'UPDATE_IN_DATABASE',

'DeleteBehavior':'LOG'

}

)步骤2：运行爬虫#运行AWSGlue爬虫

response=client.start_crawler(

Name='exampleCrawler'

)步骤3：创建ETL作业#使用Boto3创建AWSGlueETL作业

response=client.create_job(

Name='exampleJob',

Role='service-role/AWSGlueServiceRole-Example',

ExecutionProperty={

'MaxConcurrentRuns':1

Command={

'Name':'glueetl',

'ScriptLocation':'s3://example-bucket/example-job.py',

'PythonVersion':'3'

DefaultArguments={

'--job-language':'python',

'--job-bookmark-option':'job-bookmark-enable',

'--job-bookmark-external':'true',

'--enable-metrics':'true',

'--enable-spark-ui':'true',

'--enable-continuous-cloudwatch-log':'true',

'--continuous-cloudwatch-log-retention-hours':'12',

'--enable-glue-datacatalog':'true',

'--enable-glue-remote-debug':'true',

'--enable-spark-log':'true',

'--enable-glue-remote-debug-proxy':'true',

'--enable-glue-datacatalog':'true',

'--enable-glue-datacatalog

#数据集成工具：AWSGlue：AWSGlue数据目录使用

##设置AWSGlue数据目录

###创建数据目录

在AWSGlue中，数据目录是存储元数据（如数据库和表的定义）的地方。创建数据目录是开始使用AWSGlue的第一步，它允许你组织和管理你的数据。

####步骤1：登录AWSManagementConsole

首先，登录到你的AWSManagementConsole，导航到AWSGlue服务。

####步骤2：创建数据目录

在AWSGlue的控制面板中，选择“数据目录”，然后点击“创建数据目录”。在创建数据目录的界面中，你可以指定数据目录的名称和描述。

####步骤3：配置数据目录

在创建数据目录后，你可以配置数据目录的访问权限，例如，设置IAM角色来控制谁可以访问和修改数据目录中的内容。

###管理数据目录中的数据库和表

一旦数据目录创建完成，你就可以开始管理其中的数据库和表了。

####步骤1：创建数据库

在数据目录中，数据库用于组织相关的表。要创建数据库，点击“数据库”，然后选择“创建数据库”。在创建数据库的界面中，输入数据库的名称和描述，以及数据库的存储位置。

####步骤2：创建表

创建表是将数据集的元数据定义存储在数据目录中的过程。点击“表”，然后选择“创建表”。在创建表的界面中，你需要指定表的名称、数据库、数据存储位置、列定义、分区键（如果适用）等信息。

####步骤3：使用AWSGlueSDK管理数据库和表

AWSGlue提供了SDK，允许你通过编程方式管理数据库和表。以下是一个使用Python和Boto3（AWSSDKforPython）创建数据库的示例：

```python

#导入boto3库

importboto3

#创建AWSGlue客户端

glue_client=boto3.client('glue',region_name='us-west-2')

#定义数据库参数

database_input={

'Name':'my_database',

'Description':'Thisismydatabase',

'LocationUri':'s3://my-bucket/my-database'

}

#使用AWSGlueSDK创建数据库

response=glue_client.create_database(DatabaseInput=database_input)

#打印响应

print(response)在这个示例中，我们首先导入了boto3库，然后创建了一个AWSGlue客户端。接着，我们定义了数据库的参数，包括名称、描述和存储位置。最后，我们调用了create_database方法来创建数据库，并打印了返回的响应。步骤4：使用AWSGlueCrawler自动发现表AWSGlueCrawler是一个自动化工具，用于扫描数据存储并自动创建表的元数据。要使用Crawler，你需要定义一个Crawler，指定要扫描的数据存储位置，然后启动Crawler。步骤5：使用AWSGlueETL作业处理数据AWSGlueETL作业可以用于处理和转换数据。你可以在作业中定义数据的输入和输出，以及要执行的转换逻辑。以下是一个使用AWSGluePythonShell作业读取数据并进行简单转换的示例：#导入AWSGlue动态框架库

fromawsglue.dynamicframeimportDynamicFrame

fromawsglue.contextimportGlueContext

fromawsglue.jobimportJob

#创建GlueContext和Job

glueContext=GlueContext(SparkContext.getOrCreate())

job=Job(glueContext)

job.init('my_job_name','my_job_args')

#读取数据

datasource0=glueContext.create_dynamic_frame.from_catalog(database="my_database",table_name="my_table")

#转换数据

df=datasource0.toDF()

df=df.withColumn("new_column",df["old_column"]*2)

dynamicframe0=DynamicFrame.fromDF(df,glueContext,"dynamicframe0")

#写入数据

datasink0=glueContext.write_dynamic_frame.from_options(frame=dynamicframe0,connection_type="s3",connection_options={"path":"s3://my-bucket/my-output"},format="parquet")

#完成作业

mit()在这个示例中，我们首先导入了AWSGlue动态框架库，然后创建了GlueContext和Job对象。接着，我们使用create_dynamic_frame.from_catalog方法从数据目录中读取数据。然后，我们使用SparkDataFrameAPI对数据进行了转换，创建了一个新的列。最后，我们使用write_dynamic_frame.from_options方法将转换后的数据写入S3存储桶。通过以上步骤，你可以有效地设置和管理AWSGlue数据目录，为你的数据集成和处理任务提供强大的元数据管理和自动化工具。2数据目录中的数据库和表2.1数据库的概念与创建2.1.1数据库的概念在AWSGlue中，数据库是一个逻辑容器，用于存储和组织表。它类似于关系数据库管理系统中的数据库，但更灵活，可以存储各种数据格式，包括结构化和半结构化数据。数据库中的表可以是外部表，指向S3中的数据，也可以是内部表，存储在GlueDataCatalog中。2.1.2创建数据库要创建数据库，可以使用AWSGlueDataCatalog的控制面板，或者使用AWSGlue的PythonSDK。下面是一个使用PythonSDK创建数据库的例子：importboto3

#创建AWSGlue的客户端

client=boto3.client('glue',region_name='us-west-2')

#定义数据库的参数

database_input={

'Name':'my_database',

'Description':'Thisismydatabaseforstoringdatatables.',

'LocationUri':'s3://my-bucket/data/'

}

#创建数据库

response=client.create_database(DatabaseInput=database_input)

#输出响应

print(response)在这个例子中，我们首先导入了boto3库，这是AWSSDKforPython。然后，我们创建了一个AWSGlue的客户端，并定义了数据库的参数，包括数据库的名称、描述和位置URI。最后，我们调用了create_database方法来创建数据库，并打印了响应。2.2表的定义与管理2.2.1表的定义在AWSGlue中，表是数据的逻辑表示，它描述了数据的结构和位置。表可以是分区表，用于组织大量数据，提高查询性能。表的定义包括表名、列名、列类型、分区键、存储位置等信息。2.2.2管理表管理表包括创建、更新、删除表等操作。下面是一个使用PythonSDK创建表的例子：#定义表的参数

table_input={

'Name':'my_table',

'DatabaseName':'my_database',

'Description':'Thisismytableforstoringdata.',

'StorageDescriptor':{

'Columns':[

{'Name':'id','Type':'int'},

{'Name':'name','Type':'string'},

{'Name':'age','Type':'int'}

'Location':'s3://my-bucket/data/my_table/',

'InputFormat':'org.apache.hadoop.mapred.TextInputFormat',

'OutputFormat':'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat',

'Compressed':False,

'NumberOfBuckets':-1,

'SerdeInfo':{

'SerializationLibrary':'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe',

'Parameters':{

'field.delim':','

}

'BucketColumns':[],

'SortColumns':[],

'Parameters':{},

'SkewedInfo':{

'SkewedColumnNames':[],

'SkewedColumnValueLocationMaps':{},

'SkewedColumnValues':[]

'StoredAsSubDirectories':False

'PartitionKeys':[

{'Name':'year','Type':'int'},

{'Name':'month','Type':'int'}

'TableType':'EXTERNAL_TABLE',

'Parameters':{},

'TargetTable':{}

}

#创建表

response=client.create_table(DatabaseName='my_database',TableInput=table_input)

#输出响应

print(response)在这个例子中，我们定义了表的参数，包括表名、数据库名、列信息、存储位置、输入和输出格式、Serde信息、分区键等。然后，我们调用了create_table方法来创建表，并打印了响应。2.3数据目录中的分区和索引2.3.1分区的概念分区是表的子集，用于组织和优化大量数据的查询。在AWSGlue中，分区是基于表的分区键的值来创建的。例如，如果表的分区键是year和month，那么对于每一年和每个月，都会创建一个分区。2.3.2创建分区创建分区可以使用AWSGlue的控制面板，或者使用PythonSDK。下面是一个使用PythonSDK创建分区的例子：#定义分区的参数

partition_input={

'DatabaseName':'my_database',

'TableName':'my_table',

'PartitionInput':{

'Values':['2022','01'],

'StorageDescriptor':{

'Columns':[

{'Name':'id','Type':'int'},

{'Name':'name','Type':'string'},

{'Name':'age','Type':'int'}

'Location':'s3://my-bucket/data/my_table/year=2022/month=01/',

'InputFormat':'org.apache.hadoop.mapred.TextInputFormat',

'OutputFormat':'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat',

'Compressed':False,

'NumberOfBuckets':-1,

'SerdeInfo':{

'SerializationLibrary':'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe',

'Parameters':{

'field.delim':','

}

'BucketColumns':[],

'SortColumns':[],

'Parameters':{},

'SkewedInfo':{

'SkewedColumnNames':[],

'SkewedColumnValueLocationMaps':{},

'SkewedColumnValues':[]

'StoredAsSubDirectories':False

'Parameters':{}

}

#创建分区

response=client.create_partition(PartitionInput=partition_input)

#输出响应

print(response)在这个例子中，我们定义了分区的参数，包括数据库名、表名、分区键的值、列信息、存储位置等。然后，我们调用了create_partition方法来创建分区，并打印了响应。2.3.3索引的概念索引是用于加速数据查询的一种数据结构。在AWSGlue中，可以为表创建索引，以提高查询性能。索引可以基于表的列来创建，例如，可以为id列创建索引。2.3.4创建索引创建索引可以使用AWSGlue的控制面板，或者使用PythonSDK。下面是一个使用PythonSDK创建索引的例子：#定义索引的参数

index={

'Name':'my_index',

'DatabaseName':'my_database',

'TableName':'my_table',

'Input':{

'IndexName':'my_index',

'InputColumns':[

{'Name':'id','Type':'int'}

'IndexType':'BRUTE_FORCE_INDEX'

}

#创建索引

response=client.create_index(Index=index)

#输出响应

print(response)在这个例子中，我们定义了索引的参数，包括索引名、数据库名、表名、索引列和索引类型。然后，我们调用了create_index方法来创建索引，并打印了响应。3使用AWSGlue爬虫3.1爬虫的配置与运行AWSGlue爬虫是用于发现、分类和索引数据的工具，它自动将数据源中的元数据添加到AWSGlue数据目录中。爬虫可以扫描AmazonS3、AmazonDynamoDB、AmazonRedshift、AmazonRDS、AmazonEMR、AmazonAthena、AmazonKinesisDataFirehose、AmazonMSK、AmazonS3OneZone-InfrequentAccess、AmazonS3GlacierDeepArchive、AmazonOpenSearchService和自定义数据存储中的数据。3.1.1配置爬虫创建爬虫:在AWSGlue控制台中，选择“Crawlers”选项，然后点击“Createcrawler”。在创建爬虫的过程中，你需要指定数据存储的位置，例如AmazonS3的路径。选择数据存储:选择你想要爬虫扫描的数据存储类型。例如，如果你的数据存储在AmazonS3中，你需要提供S3存储桶的路径。定义目标数据库:爬虫会将扫描到的元数据存储在AWSGlue数据目录中的数据库中。你可以选择现有的数据库或创建一个新的数据库。设置角色:爬虫需要一个IAM角色来访问你的数据存储。确保该角色具有访问数据存储的必要权限。配置爬虫设置:你可以设置爬虫的范围，例如，只扫描特定的文件或目录。此外，你还可以设置爬虫的调度，使其定期运行。3.1.2运行爬虫创建并配置好爬虫后，你可以立即运行它，或者设置一个调度使其定期运行。运行爬虫后，它会扫描指定的数据存储，并将元数据添加到AWSGlue数据目录中。#使用Boto3运行AWSGlue爬虫

importboto3

client=boto3.client('glue',region_name='us-west-2')

response=client.start_crawler(

Name='my-crawler'

)3.2爬虫如何发现和更新表结构AWSGlue爬虫通过扫描数据存储中的数据来发现表结构。它会自动识别数据的格式，例如CSV、JSON、Parquet等，并根据数据的结构创建或更新表定义。3.2.1发现表结构当爬虫扫描数据时，它会检查数据的每一列，并尝试确定列的数据类型。例如，如果一列中的所有值都是数字，爬虫会将该列的数据类型识别为整数或浮点数。如果一列中的值是日期或时间，爬虫会将该列的数据类型识别为日期或时间戳。3.2.2更新表结构如果数据存储中的数据结构发生变化，例如，添加了新的列或删除了旧的列，爬虫会自动更新表定义。这意味着你不需要手动更新表定义，爬虫会为你处理这些细节。#使用Boto3获取AWSGlue爬虫的表定义

importboto3

client=boto3.client('glue',region_name='us-west-2')

response=client.get_table(

DatabaseName='my-database',

Name='my-table'

)

#输出表定义

print(response['Table'])在上述代码中，我们使用Boto3的get_table方法来获取AWSGlue数据目录中表的定义。这可以帮助我们了解爬虫如何更新表结构。3.2.3爬虫的智能更新AWSGlue爬虫具有智能更新功能，这意味着它会根据数据的变化自动更新表结构。例如，如果在CSV文件中添加了新的列，爬虫会在下次运行时检测到这一变化，并自动更新表定义以包含新的列。这种智能更新功能对于处理动态数据源特别有用，因为它可以确保你的表定义始终与数据源中的数据结构保持一致。3.2.4爬虫的版本控制AWSGlue爬虫还支持版本控制，这意味着每次爬虫运行并更新表定义时，都会创建一个新的版本。你可以查看表的版本历史，以了解表定义的变更情况。这在调试数据问题或回滚到以前的表定义时非常有用。#使用Boto3获取AWSGlue爬虫的表版本

importboto3

client=boto3.client('glue',region_name='us-west-2')

response=client.get_table_versions(

DatabaseName='my-database',

TableName='my-table'

)

#输出所有表版本

forversioninresponse['TableVersions']:

print(version['VersionId'],version['Table']['StorageDescriptor']['Columns'])在上述代码中，我们使用Boto3的get_table_versions方法来获取AWSGlue数据目录中表的所有版本。这可以帮助我们了解表定义的变更历史，以及每次变更的具体内容。通过使用AWSGlue爬虫，你可以轻松地发现和管理数据存储中的元数据，而无需手动编写复杂的代码或维护表定义。爬虫的智能更新和版本控制功能使得数据集成变得更加简单和可靠。4数据目录与AWSGlueETL作业4.1ETL作业的创建与调度在AWSGlue中，ETL(Extract,Transform,Load)作业是处理数据的关键组件。它们负责从各种数据源提取数据，转换数据格式或内容，然后将数据加载到目标存储中。AWSGlueETL作业的创建和调度可以通过AWSGlue控制台、AWSCLI或AWSSDK来完成。4.1.1创建ETL作业定义数据源：首先，需要在AWSGlue数据目录中定义数据源，这可以是AmazonS3中的数据、AmazonRDS的数据库、AmazonDynamoDB等。编写ETL脚本：使用AWSGlue开发环境或直接在作业定义中编写Python脚本，利用PySpark或GlueDynamicFrame来处理数据。设置作业参数：包括作业名称、描述、输入和输出位置、作业类型等。配置作业资源：指定作业运行时所需的计算资源，如Glue作业的实例类型和数量。保存作业：在完成所有设置后，保存作业定义。4.1.2调度ETL作业AWSGlue作业可以通过AWSGlue的作业调度器或与AmazonCloudWatchEvents集成来自动运行。作业调度器允许设置作业的运行频率，如每天、每周等。通过CloudWatchEvents，可以基于特定事件触发作业，如S3桶中的新文件上传。4.2从数据目录读取和写入数据AWSGlue数据目录是AWSGlue的核心组件，用于存储元数据，如数据库、表和分区信息。通过数据目录，ETL作业可以轻松地读取和写入数据，而无需直接处理底层存储细节。4.2.1读取数据在ETL作业中，可以使用glueContext对象来读取数据目录中的数据。以下是一个使用PySpark从数据目录读取数据的示例：fromawsglue.contextimportGlueContext

fromawsglue.dynamicframeimportDynamicFrame

glueContext=GlueContext(SparkContext.getOrCreate())

#从数据目录读取数据

datasource0=glueContext.create_dynamic_frame.from_catalog(

database="my_database",

table_name="my_table",

transformation_ctx="datasource0"

)4.2.2写入数据写入数据到数据目录同样使用glueContext对象。以下是一个将数据写入数据目录的示例：#将DynamicFrame转换为DataFrame

df=datasource0.toDF()

#添加或修改数据

#示例：添加一列

df=df.withColumn("new_column",lit("new_value"))

#将数据写回数据目录

datasink=glueContext.write_dynamic_frame.from_options(

frame=df.toDF().createOrReplaceDynamicFrame(),

connection_type="s3",

connection_options={

"path":"s3://my-bucket/my-prefix/",

"partitionKeys":["year","month"]

format="parquet",

transformation_ctx="datasink"

)在上述代码中，我们首先从数据目录读取数据，然后使用PySpark对数据进行转换，最后将转换后的数据写回S3，并通过数据目录进行元数据管理。4.2.3数据目录的更新当数据被写入数据目录时，AWSGlue会自动更新目录中的元数据，包括表结构、分区信息等。这使得数据目录始终保持与实际数据存储的一致性，便于数据的查询和管理。通过以上步骤，可以有效地利用AWSGlue数据目录进行数据集成和ETL作业的管理，简化数据处理流程，提

人人文库> 全部分类> 行业资料 > 信息产业

温馨提示

1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

数据集成工具：AWS Glue：AWSGlue数据目录使用

文档简介

温馨提示

最新文档

评论

数据集成工具：AWS Glue：AWSGlue数据目录使用

文档简介

温馨提示

最新文档

评论

相关文档