广告业务系统Serverless架构实践

1、广告业务系统Serverless架构实践技术创新 变革未来目录业务背景介绍技术架构演进Serverless实战 对Serverless思考 Q&A公司 & 业务介绍 Mobvista是全球领先的第三方移动价值发现平台，为全球应 用开发者提供获客、变现及移动分析解决方案。开发者变现获客移动分析解决方案请求展示点击转化行为价值M大脑(AI)广告价值追踪系统 架构演进初（2014年） 经济适用型展示点击转化行为Elastic Load BalancingAuto Scaling groupTracking SystemEC2 instance contentsEC2 instance content

2、sRegion - SG我们遇到的问题1.全球用户访问延时问题1. 提升全球用户访问体验展示点击转化行为Auto Scaling groupTracking DeliverEC2 instance contentsRegion SG、TK、VG、FKElastic Load BalancingAuto Scaling groupTracking ReceiverEC2 instance contentsRegion SGElastic Load BalancingAmazon DynamoDB我们遇到的问题全球用户访问延时问题突发流量波动对稳定性影响减低线上突发流量波动对稳定性影响展示点击Tr

3、acking DeliverEC2 instance contentsAuto Scaling groupRegion SG、TK、VG、FKElastic Load BalancingTracking BoosterAmazon DynamoDBRegion SG减低线上突发流量波动对稳定性影响Amazon DynamoDBRegion SG转化行为Elastic Load BalancingAuto Scaling groupTracking ReceiverEC2 instance contentsAmazon SQSAuto Scaling groupTracking MatcherE

4、C2 instance contents我们遇到的问题全球用户访问延时问题突发流量波动对稳定性影响数据分析业务开发效率低通过中间件、大数据工具加速业务开发展示点击Auto Scaling groupTracking DeliverEC2 instance contentsRegion SG、TK、VG、FKElastic Load BalancingAmazon DynamoDBAmazon S3Amazon EMR (Hive)Region VGAmazon RedshiftAmazon EMR (Spark Streaming)我们遇到的问题全球用户访问延时问题突发流量波动对稳定性影响数据

5、分析业务开发效率低整体架构运维成本高Serverless，降低整体架构运维成本Amazon Kinesis StreamsRegion VG展示点击Tracking DeliverEC2 instance contentsAuto Scaling groupRegion SG、TK、VG、FKElastic Load BalancingServerless，降低整体架构运维成本Amazon DynamoDBRegion VG转化行为Amazon SQSAmazon API GatewayAWSLambda (receiver)AWSLambda (matcher)Serverless，降低整体

6、架构运维成本Amazon Kinesis StreamsAmazon Kinesis FirehoseAmazon S3AWS Lambda (ES Uploader)AWS Lambda (booster)Amazon DynamoDBAmazon EMR (Hive)Amazon RedshiftAmazon Kinesis AnalyticsAWS Lambda (Data Transform)AWS Lambda (Report Pusher)Amazon ElastiCacheAWS Lambda (Report Loader)Serverless 实 战Kinesis + Lamb

7、da 实 战Fluentd 内网跨可用区的流量费用Kinesis的流量峰值控制请求最大容量 并发机器数0.5M21kinesis的响应时间 50ms0.5x2x1x(1000/50)=20个分片Kinesis 的使用成本建议压缩解压的问题Zlib? Gzip?使用lambda转换格式 改fluentd插件逻辑/lib/fluent/plugin/kinesis.rbKinesis Analytics 实 战处理数据量过多需要进行kinesis analytics的分片操作aws -region us-east-1 kinesisanalytics update-application - ap

8、plication-name 3s-tracking-click-analytics -current- application-version-id 33 -application-update InputUpdates: InputId: 2.1,InputParallelismUpdate: CountUpdate:5 数据一致性问题正好一次？不可能的至多一次至少一次Amazon KinesisAmazon SQSAmazon DynamoDBAWSLambda离线报表以及实时报表的合并Table offlineQueryAmazon EMR (Hive)离线报表以及实时报表的合并(SELECT * FROMtable_offline WHERE time = 1537167600)Table realtimeTable offlineView Uni