基于Hadoop的企业级数据分析处理平台模板

1、 基于Hadoop的 企业级数据处理和分析平台 GD China 2014年3月 ? Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. Agenda Agenda 1. 为什么需要Hadoop平台 2. 平台在银行业的应用场景 3. 技术架构 4. 小结 ? Copyright 2012 Hewlett-Packard Development Company, L.P. The informa

2、tion contained herein is subject to change without notice. 如何处理企业面临的海量数据？如何处理企业面临的海量数据？ 企业需要整合来自不同应用系统产生的海量数据，并对这些数据进行分析。 数据来自上百个应用系统 每日增量几百GB 存储和处理10PB+级的数据 3 ? Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Restrict

3、ed. 传统数据分析方案成本太高传统数据分析方案成本太高 Cost per TB, Adoption 4 ? Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Restricted. 气泡大小 = 解决方案的性价比 数据来源：Think Big Analytics 大数据分析平台大数据分析平台 建立统一的大数据平台，整合来自企业各种应用的数据 贷款 存款 E信用卡 T原始数基础数指标数领

4、域数L 据区 据区 据区 据区 财务 源系统 Hadoop平台 5 ? Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Restricted. Vertica SAP BI Tableau Excel 前端应用 大数据分析平台的业务价值大数据分析平台的业务价值 让数据成为企业的核心资产 ? 整合数据整合数据 ? 形成统一的企业数据模型和完整的企业业务视图 ? 整合结构化和非结构化数据

5、? 降低成本降低成本 ? 替代昂贵的专有系统解决方案 ? 支撑新的业务能力支撑新的业务能力 ? 增加收入：个性化销售与服务，渠道协同 ? 优化供应链：库存管理与优化 ? 控制风险：监管与合规，反欺诈，. 6 ? Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Restricted. Agenda Agenda 1. 为什么需要Hadoop平台 2. 平台在银行业的应用场景 3. 技术架

6、构 4. 小结 ? Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. 银行的业务模型银行的业务模型 8 ? Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Restricted. 数据

7、分析处理平台在银行业的典型应用场景数据分析处理平台在银行业的典型应用场景 交易明细查询 个性化服务 行为分析客户 精准营销 监管报告 审计 风险识别 绩效分析与管理 反欺诈 IT优化成本 9 ? Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Restricted. 交易明细查询交易明细查询 实现对历史交易明细的即时查询，降低交易明细存储和查询成本。 贷款 原始数据区 基础数据区 指标

8、数据区 领域数据区 交易明细查询 监管报告 存款 信用卡 ETL 交易明细数据 风险计量与分析 财务 客户行为分析 源系统 10 Hadoop平台 前端应用 ? Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Restricted. 监管报告监管报告 综合来自各个系统的业务和财务数据，生成满足各个监管机构要求的报告报表。 贷款 原始数据区 基础数据区 指标数据区 领域数据区 交易明细查

9、询 监管报告 存款 信用卡 ETL 原始业务数据 标准化的业务数据 监管指标数据 风险计量与分析 财务 统一数据口径，提升数据质量 生成监管指标 客户行为分析 源系统 11 Hadoop平台 前端应用 ? Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Restricted. 统一风险管理统一风险管理 综合来自各个系统的业务和财务数据，生成满足各个监管机构要求的报告报表。 信贷 原始数

10、据区 基础数据区 指标数据区 领域数据区 交易明细查询 监管报告 信用卡 不良资产 ETL 原始业务数据 标准化后的业务数据 统一风险视图 风险计量与分析 市场风险 统一数据口径，提升数据质量 对风险进行分析，形成全行统一的风险视图 客户行为分析 源系统 12 Hadoop平台 前端应用 ? Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Restricted. 参考资料参考资料 13

11、 ? Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Restricted. 66 大价值链大价值链2626 个业务方向个业务方向 14 ? Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP Restricted. 企业级业务能力模型企业级业务能力模型 15 ? Copyright 2012 Hewlett-Packard Development Company, L.P. The information contained herein is subject to change without notice. HP