2024爱奇艺大数据分析平台

DAU关注于长视频，随后发展业务有PPC、UPC，同时还发展了游戏、直播、小说等业务。目2030300T。爱奇艺刚刚起步时平台架构很简单，数据流从日志通过RSYNC流入到Hive，然后通过脚HiveSQLMySQL，最后形成报表展示。整个流程的驱动ShellJavaJavaAccioLogPingbackHDFSTransfiguration求较多开发人员处理不过来，现在是取数计算太多，Hadoop集群处理不过来。因为在魔大数据平台框架。底层是大数据平台所用的计算资源，离线计算主要是Hive、Spark，流式计算主要是SparkStreaming和FlinkOLAP主要是Impala和Kylin。数据方面PingbackMySQL、MongoDB等，大数据存储主要是HDFS、HBase、Kudu，Kudu主要是支持实时，分布HBase、HDFS。再往上层是开发平台层，主要负责工作流开发。流计算通过成3-4个集群，相互之间要进行数据同步，先前主要是手写程序完成,现在可以通过数据集DC还有自助查询工具、BI报表工具，接下来会详细讲解。Crontab直接驱动数据处理脚本运行。随着任务量逐渐增多，crontab会变得不可维护，ShellLinkedinAzkabanAzkaban性也不是很高，自研发了一个工作流管理系统Gear，但是Gear的管理基于配置文件，开发调试起来麻烦又自研了通天塔数据开发BabelBD。SlytherinShell脚本，有一个驱动脚本和一个执行脚本。驱动脚本主要是调动processIDIDID其可视化程度不高，维护成本大，于是引入了Azkaban，其优点是使用简单、开源、可视机器有上百台，每个集群都会有很多台入口Client机器，只能一台机器一台机器去维护，GearappacheOozieOozie是由于其配置过于繁琐，可视化不是很好。因此在Oozie基础上进行配置简化，并且提供更友好的界面和开发方式，主要是使用GitLab-CI和SDK的方式提交。上图是一个并行的工作流，配置文件通过GitLab提交，Gitlab-CIAPI在开发过程中还是感觉配置Gear过程比较复杂，配置文件编写容易出错，平均需要提交三BabelBD可以直接拖拽节点的方式开发工作流，这样开发人员只需要关注核心SQL语句编写和整个基础流程，其他都交给IDE完成，上图是实际开发效果和执行效果。MVC模式，开发的每一张报表都是一个小的JavaWeb项目。需要为每一张报表编写JSP台-龙源2.0，配置流程最核心的就是写SQL，定义相关图表信息、条件信息，将其配置成一张报表。最后利用bootstrap的一个可视化配置管理工具，通过拖拽方式搭建报表。由不能满足需求，大BI系统应运而生。BI分析的系统发布自己的报表到BI进行展示。刻是完整的，但是如果某一集群发生延迟，就会消费掉一个空数据。因此设置了Done文DoneHDFSDonedone文件产生，而且表非常多，就会有海量空文件产生。所以为了避免HDFS大，我们就制作了Done服务，这样直接在做依赖判断的时候，直接使用Done服务，不再在HDFS上查找，依赖管理最终采用的方案是数据管理。调用，用来替代Done服务。它通过元数据抓取、手动录入、投递注册管理、外部系统注ImpalaOLAPSQLBI息制作场景和场景间关联，在BI报表直接引用指标维度信息制作报表。OLAP在数仓的上一层，最开始只使用MySQL，通过分库分表来解决大数据量问题；之后MySQL+HBaseHBase,根据不同的查询进行提取。接着就引入Kylin/Impala作为查询引擎，目前考虑的是不同框架综合使用，不局限于一个HBaseHBaseHBaseKylin提前算好存入HBase，这样就可以提供给自助查询系统使用。完成报表取数。这种方式工作量大、周期长，后来用户通过魔镜看结果或者运行SQL，如专门的分析工具，如漏斗分析、画像分析去定制化分析需求，再不满足通过OLAP分析进行拖拽式分析，或者通过魔镜去写SQL，生成结果后看是否满足，是否需要进一步分析，如果需要就回到OLAP系统进行分析。SQLSQLSQLSQLSQL定能转化为庖丁刃的SQL。SQLSQLSparkSQLSQL上图是莫奈系统界面，给出的是事先制作好的报表进行的展示，可以直接将其发布到BI系ExcelDSLSQLKylin，MySQL和IMPALA在系统中也可用，实现MySQL和Kylin并行使用。如果用户需要对BI