基于MaxCompute的大数据BI分析

1、基于MaxCompute的大数据BI分析技术创新，变革未来场景描述在互联网、电商及游戏等行业通常需要对海量数据做快速实时分析，本方案阐述如何将业务数据和日志数据快速汇总到ADB后再通过QuickBI等 工具进行可视化分析和展示。特别是对于数据化建设中后期的公司，数据结构复杂、数据量巨大、ETL功能复杂的情况，使用MaxCompute可以进行复杂ETL数据开发和加 工，再进入ADB和QuickBI进行快速分析和可视化展示。适用场景互联网行业、电商、游戏行业等网站、App、小程序应用内BI分析场景 可扩展到各类网站BI分析场景使用行业标签 ：通用、互联网、电商、游戏等产品标签：BI数据分析、日志服

2、务、ADB、MaxCpompute、ECS、RDS等实现架构-MaxCompute/ETL/ADB架构说明公司在数据化建设中后期，数据结构非 常复杂，数据量非常大，大量数据需要 先进行ETL。使用数据集成把RDS和日志数据同步到 MaxCompute进行ETL，再写入ADB。使用Qucik BI进行分析，分析业务数 据，建立用户画像等MaxCompute产品介绍大规模弹性资源池SQLMRFuxi(资源管理及任务调度)全局元数据图计算Spark交互式MaxCompute Engine(通用并行计算框架)Pangu(大规模分布式存储服务)New SQLJavaPythonMaxCompute生态工

3、具(Dataworks、Studio、QuickBI、3rd Party工具)MaxComputeMaxCompute向用户提供了丰富的大数据开发工具、完善的数据导入导出方案以及多种经典的分布式计算 模型。能够最快速地解决用户海量数据计算问题，有效降低企业大数据计算平台的总体拥有成本，提高大 数据应用开发效率，并保障数据在云计算环境的安全。全托管的Serverless、多租户模式，作业级别的自动弹性伸缩，免平台运维及配置调优势。支持按作业付费、预占计算资源付费、打包套餐等多种付费方案，满足最灵活的客户购买需求。多功能：提供SQL/MR/Spark/机器学习/图计算等多种计算能力，避免为计算而搬

4、数据。高性能计算引擎：随着数据规模的增加，性能线性增长，超越竞品的性能优势。安全的数据平台：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行，支持ACL+Policy+Label细粒度授权，支持数据KMS加密，支持行为审计 (即将发布)。生态开放：高度兼容Hive、支持原生的Spark应用、支持Python生态(PyODPS)、第三方BI工具。企业级管理能力：完整的批量(Tunnel)/实时(Datahub)数据接入能力、Dataworks数据开发/应用生产运维/数据管理/数据质量，快速构建企业级数据服务平台。产品架构产品特点云原生服务架构：ADB容量评估公式：原始数据量（单位G

5、B） x索引膨胀系数（1.3倍) / 空间水位线（0.7） /(每个节点组的磁盘大小例如：客户原始数据量为1TB，即约1000GB，按照公式计算可得，1024*1.3/0.7/1000 = 1902 (GB) 用户可选择下图的2节点，每节点1000GB的配置。因此可粗略估计ADB 1TB存储空间年费用约11w。如果客户有4T数据，按照上述公式需要 购买8节点组，年费用约为11万 x 4= 44万注：本方案中只进行估算，具体配置和费用以客户实际场景为准。Web Tracking日志采集原理注意事项使用 Web Tracking 意味着该 Logstore 打开互联网匿名写入的权限，没有经过有效鉴

6、权，可能会产生脏数据。仅支持 GET 请求，不支持 POST 请求；且不支持上传16KB以上的 body。POST 请求限制与 PutLogs 一致，大小不超过3MB，条数不超过4096条。日志服务支持通过Web Tracking功能进行HTML、H5、iOS和 Android平台日志数据的采集，支持 自定义维度和指标。将loghub-tracking.js 复制到 web 目录，并在页面中引入 如下脚本：方案优势以ADB+QuickBI快速实时数据分析的核心能力为切入点，将客户的业务数据、日志数据引导上 阿里云的日志服务和分析性数据库。融合阿里云的日志服务SLS的生态，增强用户粘性(如无缝对

7、接Blink、Elasticsearch、RDS、 ADB、EMR、dataV 等产品)。通过MaxCompute、ADB强大的数据加工和分析能力，极大的降低了用户大数据平台建设的门 槛，轻松解决了海量数据的计算问题，同时有效降低企业成本并保障数据安全与第三方开源生态无缝对接，在不侵入用户应用的情况下传输日志到SLS，降低用户使用门槛。方案适配难度 本方案包含Step by Step，可以由文档使用者自行完成。 本方案适合做开发者或架构师做大数据BI分析的PoC验证使用。 部署该方案需要熟悉日志服务及大数据产品，难度较大Step by Step步骤一：电商网站Demo搭建步骤二：创建ADB数据库服务 步骤三：DataWorks大数据处理步骤四：数