数据湖：Iceberg：Iceberg数据湖简介

数据湖：Iceberg：Iceberg数据湖简介1数据湖概念与优势1.1数据湖的定义数据湖是一种存储大量原始数据的架构，这些数据可以是结构化、半结构化或非结构化的。数据湖的主要理念是将数据以原始格式存储，无需预先定义其结构或模式，这与传统的数据仓库形成鲜明对比。数据湖允许数据在需要时进行处理和分析，提供了更大的灵活性和可扩展性。1.1.1原理与内容数据湖的核心在于其存储和处理数据的方式。它使用分布式文件系统，如Hadoop的HDFS或云存储服务如AmazonS3，来存储数据。数据湖中的数据可以是日志文件、文档、图像、音频、视频等多种类型，这些数据被存储在不同的“层”中，包括原始层、清理层和精炼层，以支持不同的数据处理和分析需求。1.1.2示例假设一个电子商务公司想要分析其网站上的用户行为。他们可以将网站日志直接存储在数据湖的原始层中，然后使用ApacheSpark或Hive等工具在数据湖的清理层中进行预处理，如清洗和转换数据。最后，在精炼层中，他们可以将数据转换为更结构化的格式，如Parquet或ORC，以进行更复杂的数据分析。#使用PySpark读取数据湖中的日志数据

frompyspark.sqlimportSparkSession

spark=SparkSession.builder.appName("DataLakeAnalysis").getOrCreate()

#读取原始层的日志数据

log_data=spark.read.text("s3://datalake-raw-layer/logs.txt")

#在清理层中进行数据预处理

log_data_cleaned=log_data.filter(log_data.value.contains("200OK"))

#将清理后的数据转换为Parquet格式并存储在精炼层

log_data_cleaned.write.parquet("s3://datalake-refined-layer/cleaned_logs.parquet")1.2数据湖与数据仓库的对比数据湖和数据仓库都是用于存储和分析数据的架构，但它们在数据的存储方式、数据的结构和使用场景上存在显著差异。1.2.1原理与内容数据存储方式：数据湖存储原始数据，而数据仓库存储经过清洗和转换的结构化数据。数据结构：数据湖中的数据可以是结构化、半结构化或非结构化的，而数据仓库中的数据通常是高度结构化的。使用场景：数据湖适用于需要进行探索性数据分析和机器学习的场景，而数据仓库适用于固定的报告和BI分析。1.2.2示例在数据湖中，一个公司可能存储各种类型的数据，如社交媒体帖子、传感器数据和电子邮件。这些数据可以用于训练机器学习模型，以预测客户行为或优化生产流程。而在数据仓库中，公司可能存储经过清洗和转换的销售数据，用于生成固定的销售报告。1.3数据湖的优势数据湖提供了多种优势，包括但不限于数据的灵活性、可扩展性和成本效益。1.3.1原理与内容灵活性：数据湖允许存储和处理各种类型的数据，无需预先定义其结构，这使得数据湖非常适合进行探索性数据分析和机器学习。可扩展性：数据湖可以轻松地扩展以处理大量数据，这得益于其基于分布式文件系统的架构。成本效益：数据湖通常使用云存储服务，如AmazonS3，这比传统的数据仓库更经济，因为云存储服务通常提供按需付费的模式。1.3.2示例一家公司可能开始时只存储少量的客户反馈数据在数据湖中，但随着业务的增长，他们可以轻松地扩展数据湖以存储更多的数据，如产品使用数据和市场趋势数据。这不仅提供了数据的灵活性和可扩展性，而且由于使用了云存储服务，成本也得到了有效控制。通过上述内容，我们可以看到数据湖在存储和处理大量原始数据方面的优势，以及它如何与数据仓库形成互补，为现代数据分析提供了更全面的解决方案。2数据湖：Iceberg：Iceberg数据湖简介2.1ApacheIceberg简介2.1.1Iceberg的起源与目标ApacheIceberg是一个开源的表格格式，旨在为大数据湖提供结构化数据的管理。它最初由Netflix开发，于2019年捐赠给Apache软件基金会，成为Apache的顶级项目。Iceberg的目标是解决大数据环境中数据管理的挑战，包括数据的版本控制、事务处理、优化查询性能以及提供统一的数据访问接口。2.1.2Iceberg的关键特性版本控制：Iceberg支持数据的版本控制，允许用户回滚到历史版本，这对于数据恢复和数据血缘追踪非常重要。事务处理：它提供了事务处理能力，包括插入、更新和删除操作，这在传统数据湖中是缺失的。优化查询：Iceberg通过其元数据文件和索引机制，可以显著提高查询性能，减少数据扫描量。统一的数据访问：它支持多种数据处理框架，如Spark、Flink、Hive等，提供统一的数据访问接口，简化了数据湖的使用。2.1.3Iceberg的生态系统集成Iceberg与大数据生态系统中的多个组件紧密集成，包括但不限于：Spark：Iceberg可以作为Spark的数据源和数据接收器，利用Spark进行数据的读写和处理。Flink：Flink可以读取和写入Iceberg表格，支持实时数据流处理。Hive：Iceberg与Hive的元数据服务集成，可以使用Hive的SQL查询Iceberg表格。2.2示例：使用Spark读写Iceberg表格2.2.1环境准备确保你的Spark环境已经安装了Iceberg插件。可以通过在pom.xml中添加以下依赖来实现：<!--SparkIceberg依赖-->

<dependency>

<groupId>org.apache.iceberg</groupId>

<artifactId>spark-iceberg_2.12</artifactId>

<version>1.2.0</version>

</dependency>2.2.2创建Iceberg表格使用SparkSQL创建一个Iceberg表格：//创建Iceberg表格

valspark=SparkSession.builder().appName("IcebergExample").getOrCreate()

spark.sql("CREATETABLEiceberg_table(idINT,dataSTRING)USINGiceberg")2.2.3写入数据向Iceberg表格中写入数据：//准备数据

valdata=Seq((1,"Row1"),(2,"Row2"),(3,"Row3"))

valdf=spark.createDataFrame(data).toDF("id","data")

//写入数据

df.writeTo("iceberg_table").append()2.2.4读取数据从Iceberg表格中读取数据：//读取数据

valreadDF=spark.readTable("iceberg_table")

readDF.show()2.2.5数据更新更新Iceberg表格中的数据：//更新数据

spark.sql("UPDATEiceberg_tableSETdata='UpdatedRow1'WHEREid=1")2.2.6数据删除删除Iceberg表格中的数据：//删除数据

spark.sql("DELETEFROMiceberg_tableWHEREid=2")2.3Iceberg与Hive的集成在Hive中使用Iceberg表格，首先需要确保Hive与Iceberg的兼容性。然后，可以通过以下命令在Hive中创建一个指向Iceberg表格的外部表：CREATEEXTERNALTABLEhive_iceberg_table(idINT,dataSTRING)

STOREDASiceberg

LOCATION'/path/to/iceberg/table';通过这种方式，Hive可以读取和查询Iceberg表格，利用Iceberg的优化特性。2.4结论ApacheIceberg通过其强大的数据管理功能，为数据湖带来了结构化和事务处理的能力，极大地提升了大数据处理的效率和可靠性。通过与Spark、Flink和Hive等组件的集成，Iceberg成为了构建现代数据湖的首选技术之一。注意：上述代码示例和配置是在假设你已经配置好了一个支持Iceberg的Spark环境。在实际应用中，可能需要根据你的具体环境进行相应的调整。3Iceberg数据模型3.1表结构与元数据在Iceberg中，表结构和元数据的管理是其核心特性之一。Iceberg使用一种称为“表”的抽象来组织数据，这种表结构不仅支持结构化数据，还支持半结构化和非结构化数据。表结构包括列定义、分区策略、排序规则等，而元数据则描述了表的结构、位置、版本历史等信息。3.1.1列定义Iceberg表的列可以定义为各种数据类型，包括基本类型如整数、字符串、日期等，以及复杂类型如数组、映射和结构体。例如，一个用户表可能包含以下列定义：-id:int

-name:string

-email:string

-created_at:timestamp

-address:struct<street:string,city:string,zip:int>3.1.2分区策略分区是Iceberg优化查询性能的关键。通过将数据按列值进行分区，可以减少查询时需要扫描的数据量。例如，一个按日期分区的表可以定义如下：CREATETABLEusers(

idINT,

nameSTRING,

emailSTRING,

created_atTIMESTAMP,

addressSTRUCT<street:STRING,city:STRING,zip:INT>

)

PARTITIONEDBY(created_at)3.1.3排序规则排序规则用于在写入数据时优化存储，从而加速查询。例如，可以按id排序：CREATETABLEusers(

idINT,

nameSTRING,

emailSTRING,

created_atTIMESTAMP,

addressSTRUCT<street:STRING,city:STRING,zip:INT>

)

PARTITIONEDBY(created_at)

ORDEREDBY(id)3.2数据格式与压缩Iceberg支持多种数据格式，包括Parquet、ORC和Avro，这些格式提供了高效的数据压缩和编码，以减少存储空间和加速查询速度。3.2.1Parquet格式Parquet是一种列式存储格式，非常适合大数据处理。它支持高效的数据压缩和编码，可以显著减少存储空间和加速查询速度。例如，使用Parquet格式创建表：CREATETABLEusers(

idINT,

nameSTRING,

emailSTRING,

created_atTIMESTAMP,

addressSTRUCT<street:STRING,city:STRING,zip:INT>

)

USINGparquet

PARTITIONEDBY(created_at)3.2.2数据压缩Iceberg允许选择不同的压缩算法，如GZIP、SNAPPY、LZO等。例如，使用SNAPPY压缩：CREATETABLEusers(

idINT,

nameSTRING,

emailSTRING,

created_atTIMESTAMP,

addressSTRUCT<street:STRING,city:STRING,zip:INT>

)

USINGparquet

PARTITIONEDBY(created_at)

WITH(

'pression'='SNAPPY'

)3.3时间旅行与版本控制Iceberg引入了时间旅行和版本控制的概念，允许用户查询表的任意历史版本，这对于数据恢复和审计非常有用。3.3.1时间旅行Iceberg的时间旅行特性允许用户查询表的任意历史版本。例如，查询表的第10个版本：SELECT*FROMusersVERSIONASOF10;3.3.2版本控制Iceberg使用版本控制来管理表的变更历史。每次对表的修改都会创建一个新的版本，这使得可以轻松地回滚到之前的版本。例如，回滚到第10个版本：ALTERTABLEusersROLLBACKTOVERSION10;3.3.3版本历史Iceberg还提供了查看表版本历史的功能，这对于审计和理解数据变更非常有帮助。DESCRIBEHISTORYusers;3.4示例：创建和查询Iceberg表假设我们有一个用户数据集，包含用户ID、姓名、电子邮件和创建日期。我们将使用SparkSQL来创建一个Iceberg表，并进行一些基本的查询。3.4.1数据样例[

{"id":1,"name":"Alice","email":"alice@","created_at":"2023-01-01T12:00:00"},

{"id":2,"name":"Bob","email":"bob@","created_at":"2023-01-02T12:00:00"},

{"id":3,"name":"Charlie","email":"charlie@","created_at":"2023-01-03T12:00:00"}

]3.4.2创建Iceberg表frompyspark.sqlimportSparkSession

#初始化SparkSession

spark=SparkSession.builder.appName("IcebergExample").getOrCreate()

#读取JSON数据

data=spark.read.json("path/to/data.json")

#创建Iceberg表

data.write.format("iceberg").mode("overwrite").partitionBy("created_at").save("path/to/iceberg/table")3.4.3查询Iceberg表#读取Iceberg表

iceberg_table=spark.read.format("iceberg").load("path/to/iceberg/table")

#查询表

iceberg_table.where("created_at>'2023-01-01T12:00:00'").show()3.4.4时间旅行查询#查询表的第10个版本

iceberg_table_version=spark.read.format("iceberg").option("versionAsOf",10).load("path/to/iceberg/table")

iceberg_table_version.show()通过上述示例，我们可以看到Iceberg如何提供一个强大的数据湖框架，支持高效的数据管理和查询，同时提供了时间旅行和版本控制的高级功能，使得数据恢复和审计变得简单。4数据湖：Iceberg：Iceberg操作与管理4.1数据写入与更新在数据湖的Iceberg中，数据的写入和更新遵循一种称为“追加写入”的模式，同时支持原子性的更新和删除操作。这种设计确保了数据的一致性和事务性，使得数据湖能够处理大规模的数据集，同时保持数据的完整性和准确性。4.1.1写入数据Iceberg使用ApacheSpark等大数据处理框架进行数据写入。下面是一个使用Spark写入数据到Iceberg表的例子：frompyspark.sqlimportSparkSession

#初始化SparkSession

spark=SparkSession.builder.appName("IcebergWrite").getOrCreate()

#创建DataFrame

data=[("Alice",34),("Bob",45),("Cathy",29)]

df=spark.createDataFrame(data,["name","age"])

#写入数据到Iceberg表

df.write.format("iceberg").mode("append").save("iceberg_table")在这个例子中，我们首先创建了一个SparkSession，然后使用一些示例数据创建了一个DataFrame。最后，我们使用write方法将数据写入到Iceberg表中，mode("append")确保数据是追加到现有表中的。4.1.2更新数据Iceberg支持更新和删除操作，这在大数据处理中是非常重要的特性。下面是一个更新数据的例子：frompyspark.sql.functionsimportcol

#读取Iceberg表

df=spark.read.format("iceberg").load("iceberg_table")

#更新数据

updated_df=df.withColumn("age",col("age")+1)

#写回更新后的数据

updated_df.write.format("iceberg").mode("overwrite").option("overwriteSchema","true").saveAsTable("iceberg_table")在这个例子中，我们首先读取了Iceberg表，然后使用withColumn方法更新了age列的值，最后将更新后的数据写回原表。mode("overwrite")和option("overwriteSchema","true")确保了数据和模式的覆盖。4.2数据查询优化Iceberg提供了多种数据查询优化的特性，包括索引、分区、文件格式优化等，这些特性可以显著提高查询性能。4.2.1索引Iceberg支持创建索引，以加速查询。下面是一个创建索引的例子：#创建索引

spark.sql("CREATEINDEXidx_nameONTABLEiceberg_table(name)USING'iceberg'")

#使用索引进行查询

spark.sql("SELECT*FROMiceberg_tableWHEREname='Alice'").show()在这个例子中，我们首先创建了一个基于name列的索引，然后使用这个索引进行查询，以提高查询速度。4.2.2分区Iceberg支持数据分区，可以将数据按照某个列的值进行分组存储，从而加速查询。下面是一个创建分区表的例子：#创建分区表

df.write.format("iceberg").partitionBy("age").mode("append").save("iceberg_partitioned_table")

#查询特定分区

spark.sql("SELECT*FROMiceberg_partitioned_tableWHEREage=35").show()在这个例子中，我们创建了一个按照age列进行分区的Iceberg表，然后查询了特定分区的数据，以减少扫描的数据量，提高查询效率。4.3数据湖的安全与权限Iceberg支持细粒度的安全和权限管理，可以确保数据的安全性和合规性。4.3.1安全特性Iceberg可以与Hadoop的权限系统集成，支持ACL（AccessControlList）和基于角色的权限管理。此外，Iceberg还支持数据加密，以保护数据的安全。4.3.2权限管理Iceberg的权限管理可以通过Hadoop的权限系统实现，下面是一个设置权限的例子：#设置文件权限

hadoopfs-chmod755iceberg_table

#设置目录权限

hadoopfs-chownuser:groupiceberg_table在这个例子中，我们使用hadoopfs-chmod命令设置了文件权限，使用hadoopfs-chown命令设置了目录的所有者和组，从而实现了权限管理。4.3.3细粒度权限Iceberg还支持细粒度的权限管理，可以控制对特定表或列的访问。下面是一个使用SparkSQL设置细粒度权限的例子：--设置表权限

GRANTSELECTONTABLEiceberg_tableTOuser

--设置列权限

GRANTSELECTONTABLEiceberg_table(name)TOuser在这个例子中，我们使用GRANT命令设置了对Iceberg表的访问权限，可以控制用户对表或特定列的访问。通过以上操作，我们可以看到Iceberg在数据湖中的操作与管理方面提供了丰富的功能，包括数据写入与更新、数据查询优化以及数据湖的安全与权限管理，这些功能使得Iceberg成为构建现代数据湖的理想选择。5Iceberg在大数据中的应用5.1实时数据分析Iceberg作为新一代的数据湖框架，支持实时数据分析，这主要得益于其对数据的高效管理和查询能力。Iceberg使用ApacheParquet或ORC等列式存储格式，这些格式允许对数据进行高效的压缩和编码，从而加速查询速度。此外，Iceberg的元数据管理机制使得数据的更新、删除和查询操作更加高效，即使在大规模数据集上也能实现快速响应。5.1.1示例：使用SparkSQL进行实时查询假设我们有一个存储在Iceberg表中的实时日志数据，表名为logs。下面的示例展示了如何使用SparkSQL对这些数据进行实时查询。#导入必要的库

frompyspark.sqlimportSparkSession

#创建SparkSession

spark=SparkSession.builder\

.appName("IcebergReal-timeAnalytics")\

.config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions")\

.getOrCreate()

#读取Iceberg表

logs_df=spark.read.format("iceberg").load("logs")

#注册为临时视图

logs_df.createOrReplaceTempView("logs")

#执行实时查询

query=spark.sql("SELECTuser_id,COUNT(*)asevent_countFROMlogsWHEREevent_time>'2023-01-01'GROUPBYuser_id")

query.show()在这个例子中，我们首先创建了一个SparkSession，并配置了Iceberg扩展。然后，我们读取了logs表，并将其注册为临时视图。最后，我们执行了一个SQL查询，统计了自2023年1月1日以来每个用户的事件数量。5.2批处理与流处理结合Iceberg支持批处理和流处理的结合，这意味着可以在同一数据集上同时执行批处理和流处理任务，而无需复制数据。这种能力对于构建实时和离线混合的数据处理管道非常有用，可以减少数据冗余，提高数据处理效率。5.2.1示例：使用SparkStreaming读取Iceberg表假设我们有一个Iceberg表sales，其中包含实时销售数据。下面的示例展示了如何使用SparkStreaming读取这个表，并实时处理数据。#导入必要的库

frompyspark.sqlimportSparkSession

frompyspark.sql.functionsimportcol

#创建SparkSession

spark=SparkSession.builder\

.appName("IcebergStreamProcessing")\

.config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions")\

.getOrCreate()

#读取Iceberg表

sales_df=spark.readStream.format("iceberg").load("sales")

#过滤并处理数据

filtered_sales_df=sales_df.where(col("amount")>1000)

#写入结果到另一个Iceberg表

query=filtered_sales_df.writeStream\

.format("iceberg")\

.outputMode("append")\

.option("checkpointLocation","path/to/checkpoint")\

.table("high_value_sales")

query.start()在这个例子中，我们创建了一个SparkSession，并配置了Iceberg扩展。然后，我们使用SparkStreaming读取了sales表，并过滤出金额大于1000的销售记录。最后，我们将过滤后的结果写入到另一个Iceberg表high_value_sales中。5.3多系统数据共享Iceberg的设计考虑了数据的可共享性，它使用ACID事务和版本控制，确保数据的一致性和可读性。这意味着不同系统可以安全地读取和写入同一个Iceberg表，而不会产生数据冲突或不一致。5.3.1示例：在不同系统间共享Iceberg表假设我们有两个系统：系统A和系统B，它们需要共享一个Iceberg表inventory。系统A负责更新库存数据，而系统B负责查询库存数据。下面的示例展示了如何在两个系统间共享Iceberg表。系统A：更新库存数据#导入必要的库

frompyspark.sqlimportSparkSession

frompyspark.sql.functionsimportcol

#创建SparkSession

spark=SparkSession.builder\

.appName("IcebergInventoryUpdate")\

.config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions")\

.getOrCreate()

#读取Iceberg表

inventory_df=spark.read.format("iceberg").load("inventory")

#更新库存数据

updated_inventory_df=inventory_df.withColumn("quantity",col("quantity")-1)

#写入更新后的数据

updated_inventory_df.write.format("iceberg").mode("overwrite").save("inventory")在这个例子中，系统A读取了inventory表，更新了库存数量，然后将更新后的数据写回表中。系统B：查询库存数据#导入必要的库

frompyspark.sqlimportSparkSession

#创建SparkSession

spark=SparkSession.builder\

.appName("IcebergInventoryQuery")\

.config("spark.sql.extensions","org.apache.iceberg.spark.extensions.IcebergSparkSessionExtensions")\

.getOrCreate()

#读取Iceberg表

inventory_df=spark.read.format("iceberg").load("inventory")

#查询库存数据

inventory_df.select("product_id","quantity").show()在这个例子中，系统B读取了inventory表，并查询了产品ID和库存数量。由于Iceberg支持事务和版本控制，系统B可以看到系统A更新后的最新数据，而不会遇到数据不一致的问题。通过以上示例，我们可以看到Iceberg在大数据中的应用，包括实时数据分析、批处理与流处理的结合，以及多系统数据共享。Iceberg的这些特性使得它成为构建现代数据湖和数据处理管道的理想选择。6Iceberg最佳实践与案例分析6.1数据湖架构设计在设计数据湖架构时，采用Iceberg可以显著提升数据管理的效率和数据质量。Iceberg是一个开源的表格格式，它为数据湖提供了结构化数据存储的解决方案，支持ACID事务、时间旅行、分区优化等特性，使得数据湖能够像数据仓库一样进行高效的数据处理。6.1.1原理Iceberg通过引入元数据层，将数据的元信息与实际数据分离，这样可以实现对数据的高效管理和查询。元数据层记录了数据的结构、分区信息、文件位置等，使得数据湖能够快速定位和读取数据，同时支持数据的更新、删除和事务处理。6.1.2内容分区策略：Iceberg支持动态分区和静态分区，通过合理的分区策略可以加速查询速度。例如，对于时间序列数据，可以按时间进行分区；对于地理位置数据，可以按地理位置进行分区。数据压缩：Iceberg支持多种压缩算法，如Snappy、Gzip、LZO等，选择合适的压缩算法可以减少存储空间，同时提高查询性能。数据格式：Iceberg支持Parquet、ORC等列式存储格式，这些格式可以提高数据的读取速度，同时支持复杂数据类型的存储。元数据管理：Iceberg的元数据层可以存储在HadoopDistributedFileSystem(HDFS)、AmazonS3、GoogleCloudStorage等存储系统中，通过元数据管理，可以实现数据的快速定位和查询。6.2性能调优策略Iceberg的性能调优主要集中在查询优化、存储优化和元数据管理优化三个方面。6.2.1原理Iceberg的查询优化主要通过利用其元数据层的信息，实现对数据的快速定位和读取。存储优化则通过数据压缩、列式存储和分区策略等手段，减少存储空间，提高读取速度。元数据管理优化则通过定期更新元数据，减少元数据的读取时间，提高查询性能。6.2.2内容查询优化：利用Iceberg的元数据信息，可以实现对数据的快速定位和读取。例如，通过使用filter操作，可以只读取满足条件的数据，避免全表扫描。存储优化：选择合适的压缩算法和数据格式，可以减少存储空间，提高读取速度。例如，使用Snappy压缩算法，可以将数据压缩到原大小的50%左右，同时读取速度比Gzip快。元数据管理优化：定期更新元数据，可以减少元数据的读取时间，提高查询性能。例如，使用REFRESHMETADATA操作，可以更新元数据，使其反映最新的数据状态。6.2.3示例假设我们有一个存储在Iceberg中的数据表，表名为sales，包含date、region、product和amount四个字段，其中date字段为时间字段，region和product字段为分类字段，amount字段为数值字段。我们可以通过以下SQL语句，实现对数据的查询优化和存储优化：```sql–创建数据表CREATETABLEsales(dateDATE,regionSTRING,productSTRING,amountDOUBLE)USINGicebergTBLPROPERTIES(‘format-version’=‘2’,‘write.metadata-flush-timeout’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.metadata-flush-policy’=‘TIME’,‘write.metadata-flush-time’=‘10s’,‘write.metadata-flush-size’=‘10000000’,‘write.metadata-flush-memory’=‘100000000’,‘write.metadata-flush-mode’=‘MEMORY’,‘write.