大数据系统架构_第1页
大数据系统架构_第2页
大数据系统架构_第3页
免费预览已结束，剩余1页可下载查看

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

大数据系统架构1，数据采集层2，数据计算层3，数据服务层4，数据应用层下图是阿里巴巴大数据系统架构图：一、数据采集层1，Web2，App3，第三方数据（比如mysql增量数据同步）Web端和App端的日志数据都需要制定各个场景下的埋点规范，用来满足各种通用业务场景下（比如浏览、点击等）的数据分析。Web端和App端数据采集一般都有各自的埋点SDK和对应的埋点管理平台，用来确保埋点数据的规范和准确，第三方数据同步通常会使用一些通用的数据同步工具（如DataX、Scoop）数据采集后为了解耦下游各系统（比如批处理计算平台、流处理计算平台等）的耦合，需要架设消息中间件（比如：Kafka、RocketMQ等）二、数据计算层1，数据存储及计算2，数据整合及管理1，数据存储及计算数据存储这块，如果是公司自己搭集群，基本都是使用hdfs，如果是用的第三方服务会有很多种（比如aws的s3）数据计算这块分成批处理和流处理。批处理这块常用的计算组件有：spark和hive等，流处理的计算组件有：sparkstreaming，flink等。在计算这块，为了合理调度上下游任务，一般会使用一些调度组件来解决任务之间的依赖问题（比如airflow、oozie、azkaban等）2，数据整合及管理数据的整合和管理时为了避免数据的冗余和重复建设，规避数据烟囱和不一致性。数据的加工链路分成四层：操作数据层（OperationalDataStore,ODS）、明细数据层（DataWarehouseDetail,DWD）、汇总数据层（DataWarehouseSummary,DWS）、应用数据层（ApplicationDataStore,ADS）三、数据服务层当数据计算好之后，需要提供给前端各种数据应用使用，也就有了数据服务层，该层主要是通过API的方式对外提供服务（比如对外提供画像数据查询服务）该层的数据大部分存储在Mysql、HBase、ClickHouse等数据库里。四、数据应用层数据应用层就是将现有的数据结合各种业务使用场景，做成各种数据产品。比如阿里目前对商户开放的生意参谋（商家可以通过它找到目前淘宝平

人人文库> 全部分类> 教育资料 > 辅导培训

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论