Greenplum Streaming Server流式数据处理架构与实践

GreenplumStreamingServer

流式数据处理架构与实践技术创新，变革未来流式数据简介Greenplum

Streaming

Server架构GPSS

Kafka数据源实践常见问题解答什么是流式数据?©概念持续生成的动态数据流特征数据持续到达且到达速度快单条数据尺寸小(通常为KB单位，甚至更小)数据实效性强，且可能无法预测数据边界低延迟处理需求多种一致性需求流式数据与批式数据对比©批数据流数据实效性非实时、高延迟实时、低延迟数据大小大批量数据单条记录或包含几条记录的微批量数据分析用来做复杂分析简单的响应函数、聚合处理流批一体同一个业务，使用同一个SQL逻辑来实现大数据的流计算和批计算GreenplumStreaming

ServerGreenplum

StreamingServer的功能和特点加载流式数据到Greenplum保证数据的强一致性自动聚合和转换数据支持丰富的数据格式©GPSSGPSSCLIExtension©GPSS的架构mastersegmentsegmentsegmentdatadatadataGpfdistserverPq

driverreaderformatterengineYaml配置文件service/Job

managerkafkafile/s3rabbitmqhistorystoregpsscliraw

dataflowgRPCSQLGPSSraw

data©gRPCDataAPIlibpqGreenplumGPSS

Kafka

数据源实践系统的组成Broker:

KafkaZookeeper:

保存集群的的元信息并管理broker生产者ProducersConsumers

消费者Kafka

系统Broker

101Broker

103Brok…er

102Zookeeper©Topic消息的主题，可以理解为消息的分类，类似于数据库的表PartitionTopic的分区，每个topic可以有多个分区，分区中包含有序的消息Offset每个分区中的消息都有一个递增的唯一ID，称为offset©•GPSScreateextension

gpss;createextension

dataflow;GPSSJSON格式:

config.jsonGPSSgpss–c

config.json©格式gpsscli

[子命令]

--gpss-host

<HOST>–gpss-port

<PORT>

[配置文件]常用子命令submit:

提交一个jobstart/load：

启动一个jobstop：

停止一个jobremove：

删除一个joblist/status：

列出现有job及状态progress：打印job加载进度信息wait:

等待一个job结束©©启动一个kafka集群并创建相关topic通过gpsscli提交gpss

kafka

job©格式描述avroAvro是一种与语言无关的二进制数据序列化格式GPSS

支持

libz，lzma

或snappy

压缩的avro数据，并根据schemaregistry

解析成单个JSON列binaryGPSS可以从Kafka读取二进制数据并转换成单个batea

类型的列csv逗号分隔值，一种常见的数据格式.custom自定义格式，可以被指定的formatter解析delimited一种可配置分隔符的文本格式json一种轻量级的数据交换格式，采用key:value的方式记录数据©基于数据源的转换数据格式解析基于外部表的转换©1. Kafka<-->

GPSS©GPSSCLI<-->

GPSSGPSS<-->Greenplum

masterGPSS<-->Greenplum

segment以上都支持SSL/TLS加密传输GPSS MINIMAL_INTERVAL MAX_ROW如果数据流量不太高，可以适当调大这两个参数来增加每次提交的数量，提升效率如果数据流量特别大，每次积攒数据对内存有一定压力，可以减小MAX_ROW来降低