大数据解决方案介绍模板

1、© Copyright IBM Corporation 2011Business Consulting ServicesIBM大数据平台解决方案介绍|Dalian, 11 March, 2013Xiao Fei WangBusiness Consulting Services-IBM大数据平台解决方案1 项目背景理解3.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services3Airtel | IBM | ConfidentialBusiness Consu

2、lting Services当前业务面临的挑战数据问题企业内数据定义缺失;数据项缺失 ;娄鳩属性不完整;企业外咅瞰居无暇顾及;数据在多个系统中重复采集、重复 存储；系统数据无法关联、共享,数据整 合困难;系统林立，数出多门;数据时效性差，使用者无法及时获 得所需f百息；娄娠使用不方便，方法繁琐;手工 报表多；#Airtel | IBM | Confidential© Copyright IBM Corporation 2011没有准确姜娠支撑 滩以进行深度分崭 决策缺乏可靠依据对运营商价值链的影响精细化管理业务支风险管理决策与报告网坐运© Copyright IBM Cor

3、poration 2011阻碍数据问题长期存在将导致：对自身状况摸不透对经营环境看不清对市场先机抓不住对未来竞争赢不了© Copyright IBM Corporation 2011Business Consulting ServicesIT如何推动公司运营变革保险行业经过多年的发展,整个行业的变革越来越快,市场竞争环境也日益激烈。保险公 司想要在残酷的竞争中占得先机,就必须考虑产业的融合,并在价值链中占得有利的位置。1、由被动的IT支撑向主动的以数据为核心的IT服务转型回以大数据为核心组织IT服务能力 回持续完善基础支撑能力回拥抱互联网回架构体系全面云化2、服务管控模式逐步完善回夯

4、实基础管理回管控思路由简单支撑向精细服务转型 回全面优化信息化服务流程实现分级服务8.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services8.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services大数据思考8.Airtel | IBM | Confidential© Copyright IBM Corporation 2011

5、Business Consulting Services根据Gartne啲定义，大数据的特征具体涵盖了3V的内谷：】数据量庞大(Volume):从PB扩展到ZB; IT系统、互联网、物联网 等每天都在产生大量新生数据，过去的两年间产生的数据占到了所有 数据的90%2. 数据变化快(Velocity):数据变化与处理的频度由天加速到秒/毫秒； 订单、支付、欺诈、微博、监控视频、传感器、信令每时每刻都在不 停的产生数据数据多样(Variety):数据种类繁多：数据库表，格式文本，自然语 言文本，电子表格，声音，图片，视频8.Airtel | IBM | Confidential© Cop

6、yright IBM Corporation 2011Business Consulting Services8.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services1.2.3.4.5.生产系统数据 网元等设备数据 平台自生数据 外部互联网数据1.10PB 级+指数级快速增长数据范2.据服务对象全3.企业内部(管理层、执行层、 一线营销群体等)企业外部(客户，合作伙伴, 供应链、政府部门等) 内部生产系统数据规獣数据成为公司核心资产和核心竞争力，将 被设计用于在成

7、本可承受(economically) 的条件下，通过快速(velocity)采集、 发现和分析，从大量化(volumes) 多 类别(variety)数据中提取价值(value)据加1.2.3.4.换淀造 转沉创 息识值 俗知价:豎化涯结构化、数据廻李2静态、动态3.1.数据管理复杂2.在线、近线、离线 髙性能、低成本、髙 质量、可追湖3.8.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services大数据应用价值可以从公司侧和客户侧体现围绕大数据应用，促使公司实现科学

8、运营、价值创造以及透明管控，一方面能使 得公司侧感知到大数据带来的管理、决策、运营效率和质量的提升；另一方面， 能够使客户感知到大数据带来业务开发的智能、服务及时以及与需求匹配的精准。8.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services8.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting ServicesT客户价值创造科卑运营I中国平支 PIN

9、G AN8.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services企业： 开发便捷 分析及时 决策支持 数据准确透明管控客户： 精准服务 及时响应 智能应用大数据平台8.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services-IBM大数据平台解决方案大数据平台需求理解11.Airtel | IBM | Confidential©

10、 Copyright IBM Corporation 2011Business Consulting Services角色*nrLIrL一叮Lr客户管客户洞E3 口口 开市场营决策类活动分析类活动执行类活动管理类活动大数据平台的关键需求1.结构化了企业架构中四大架构的关键要素，以及要素间的承接关系，形成了一套规范、清晰的定义，从而为 大数据平台的方案设计建立了更明确的指导依据和验证方法。柔性架构的大数据平台1 企业架构方法论和云计算技术让建立柔性架构成为可能，基于企业架 构元模型，建立柔性的架构需要实现业务、应用、数据、技术四个架构 层面的解耦。a. 业务一应用/数据：业务活动在业务架构和应用

11、架构（大数据数平台）间具有承上启下的作用，可从业务类型和业务活动类型两个维度划分，前者体现业务差异，后者更多体现数据平 台能力要求，且可以稳定地分为决策类、管理类、执行类和 分析类四种，因此业务与IT的解耦可从四类业务活动支撑实 现。b. 应用一数据：应用和数据共同承接了业务，数据实体也承接 了应用交互，因此二者解耦的核心是数据实体。这可以通过 建立稳定的、弹性的企业企业级大数据模型、数据整合与存 储区域，保证未来应用对数据操作的可扩展，以及屏蔽了应 用对底层数据直接访问的数据服务加以实现。c应用/数据一术：系统组件承接了应用和数据，因此要实 现该层面的解耦，需要解决系统组件对应用的依赖，可通

12、过 建立应用开发平台、数据交换平台和数据管控平台来实现。 同时基于云计算的弹性扩展和虚拟化技术实现系统组件与基 础设施的解耦。大数据平台能力需求分析决策类业务活动1. 决策就是为达到某一目标而在若干个可行方案经过分析、比较、判断，从中选择并赋予实施的过程扌居诺 宾斯泰(Robenstein)将决策过程定义为五个步骤2. 大数据平台的核心是数据，从数据生命周期看，大数据的生成、获取、整合、服务、应用、归档各个步 骤分别有着不同的目标，并面临不同的问题3.从决策类活动过程和数据生命周期两个维度，对大数据平台的决策类活动的支撑能力需求进行分析识别问题或对决策的要求分析和阐明方案归档服务服务趺取整合整

13、合服勞服务应用与生产系统在功能和数据分工上清晰合理应用应用整合获取 获大数据的存储和管理海量数据的快速分析海量数扌居的快速获取*获取嘲T方案归档做出选择归档应用快速的数扌居服务执行 简便的数据服务使用与生产系统的及时交互 决策执行业务活动中的数扌居支撑服务11.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services大数据平台能力需求分析分析类业务活动1. 分析类活动是通过对数扌居的深入分析，力求取得更深刻业务洞察的过程，参考DM-CRISP数据挖掘方法 论，包括业务

14、理解、数扌居理解、数扌居准备、数扌居建模、模型评估和模型部署六个步骤探索数据可方 便归档和恢龟归档业务理解归档应用服务获取服务应用归档叫应用模型部署归档整合应用整合服务获取应用评估数扌居能够嵌入到模型评估中， 亜过外部调用发现已经退化的模型整合获取整合 I服务应用归档数据准备获取整合归档11.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services模型评估11.Airtel | IBM | Confidential© Copyright IBM Corpor

15、ation 2011Business Consulting Services大数据平台关键能力需求应用开发与运行1. 当前总部BI系统的数扌居应用需求包括业务部门的计划性业务支撑需求和大量的临时性支撑需求，以及IT 部门自身规划中的计划性支撑需求；2. 省公司经分系统也需要支撑来自业务部门和IT部门的大量支撑需求，同时要完成集团下发的IT规范要求3.未来省公司数扌居集中后，大数扌居平台将必须承担省分公司和总部的全部数扌居应用服务需求集团总部当前数减用需求集团领导业务部门1临时支计划IT、 支撑需求 IT人力紧张IT系统扩容难IT投山益难保障集团下发 规范支撑 需求计圳IT支 谕求计划业 务支撑

16、 需求省分公司当前数据应用需求1 » 1丿二奮公司领导0C IT/ 一业务部门大数据平厶将面临两1.平台开发方面：如何支撑急速增长的数据应用需求吴显战2.平台执行方面：如何保障海量大并发的数据访问需求和海量数据处理的性能要求11.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services大数据平台关键能力需求-7Business Consulting Services7Business Consulting Services12.当前BI系统Airtel |

17、IBM | Confidential7更直接的决策支持未来大数据平台结构化决策： 库存控制 半结构化决策: 套餐轴 非结构化决策: 产品外观设计© Copyright IBM Corporation 2011© Copyright IBM Corporation 2011Business Consulting Services-IBM大数据平台解决方案大数据平台定位分析13.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services15.Airtel

18、 | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services#.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services前期初步确立的大数据平台目标技术架构目标架构：拥抱互联网、运用云计算技术，建立开放的基于SOA架构的中国企业集中化云数据服务支撑平台，面向全国各级经营 主体和总部集中平台提供大数据、分布式、实时智能数据服务支撑与客户响应，并注重公共数据、公

19、共能力的一点沉淀与全网共 享，实现基于特定对象、特定需求的个性化自主定制、灵活组件组装，髙效实现一级系统多维应用多级支撑#.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services#.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services统一访问门户丫 应用 生产类血用总 部 目 标 集 中 生 产（系即服务:j j- 5j 浮 5!):r

20、 SDK开发平台； JJ J :业务（组件集厂即服务:J围绕三个维度：透明管控、 科学运营、价值创造 强调开放灵活：基于开放 业务组件、应用开发平台、 公共应用模型等构建，灵 活支撑个性化应用开发、 部署和推广实施五项管控：数据模型数据统一 looS服务接口生产类数据tjODS/MDM/ 1 J分析类数据 DW逝线区mJ居酣控 元管与标准、数据质量、数据 安全、元数据、数据生命 周期推行五一点：一点源头 采集、一点加工转换、一 点存储、一点分析挖掘、 一点服务提供#.Airtel | IBM | Confidential© Copyright IBM Corporation 2011

21、Business Consulting Services虫低端養储网络资源；BO SB | 小型机 X86服务器 髙靄荐禱#.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services17.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services基于技术架构目标，加入大数据平台建设的驱动力1=#.Airtel | IBM | Confident

22、ial© Copyright IBM Corporation 2011Business Consulting Services#.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services分析类系统应该建立多少数据库,多少种数据库保证数据从省分及时向隼团提供准确唯一数据#.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services#.A

23、irtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services数据应用在一个框架下有效支持5级体系的个性化开发和共性开发提供多种形式数据服务提供方式z并有效执行#.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services4.Business Consulting Services大数据平台应具备的技术支撑能力大数据平台将借助云计算的快速可扩展性、标准

24、化服务、自助服务等特征，强化大数据的获取、处理、整 合、分析、服务等技术支撑能力，促进敏捷化、个性化的数据应用开发，最终助力IT对业务转型的推动。数据价值大数据生命周期海量数据的识 别和快速装入 数据分布流转 互联网数据和 客户行为捕获 实时/准实时 数据捕获1.近线存储4.数据展示数据消亡大数据产生时间6.1.4.5.© Copyright IBM Corporation 20112.3.2.3.2.3.2.3.4.5.系统支撑数据冷却 知识沉淀业务信息数遐处理数据整合清晰的整合层次和加工时效2海量数据、非结构化数据、实时流数据等多样化的存储与管理3. Gartne吁2012年7月

25、提出大数据 管理中：'列式存储数据库、云 计算和内存数据库在未来5年内将 是3个最重要的技术刀数据的展现策略 个性化应用开发支撑 共享应用快速部署 对外部系统的支撑 信息提炼以及对业务 的支撑 知识的组织、沉淀、 管理和应用数据归档针对海量数据的高性能 数据分析实时数据的即时分析非结构化数据的智能分 析（如网页的标引、结 构化解析，视频、图片 的模式识别等）髙级分析算法1大量数据服务需求的 快速开发支撑2 快速数据服务执行3简便的数据服务使用4 清晰的数据服务目录5数据服务使用记录16.海量冷数据（包括 实时、非结构化、 结构化）的存储和冷数据的透明访问 冷数据与热数据的 统一支撑操作

26、型和分析型数 据的统一归档快速的数据转储和 归档74.Business Consulting Services大数据平台与周边系统的关系大数据平台与省分系统和总部系统的关系主要体现在功能分工协作和数据交换两大方面，此处将大数据平台 作为一个黑盒子，重点关注数据平台与外部系统的关系。功能分工与协作CL 生产系统只保留与生产直接相关的、数据稽核（比对）相关 的统计报表，其它全部整合到分析平台上。直接相关可以从 流程和数据两方面考察，一系列连续业务活动，使用相同数 据的应用功能直接相关（耦合度髙），如结算中的话单数、 成本查询，需要放在结算系统。b. 不直接相关的统计、分析类应用，由大数据平台通过数

27、据服 务，并在D域中统一建立应用进行支撑。数据交换Q. 一般情况下，D域中的分析类应用系统中不单独存储数据， 系统所需的和系统产生的数据都存放在数据平台的数据集市 中。其中如果系统使用的数据较少，可以部门/省分数据集市; 但如果系统涉及的数据很多，则需存放在应用集市中b. 生产系统使用的数据全部存放在生产系统中,当需要与大数 据平台发生共享数据时，则通过数据交换进行。具体交换周 期模式可以是实时、准实时和分批交换c. 大数据平台的数据整合策略是根据业务需求，按照数据模型 定义和数据存储周期的要求，集成生产系统中所需的部分私 有数据和共享数据，而不是全部获取和集成d. 生产系统的共享数据集（SI

28、D）尽管是数据中心业务职能管辖 范围，但SID不属于大数据平台的管辖范围，只是大数据平台 中的一个数据源，且SID与大数据平台的数据交换是双向的大数据平台在Cloud的位置大数据平台针对异常复杂的大数据管理，而云计算为大数据管理提供了坚实的技术支撑。Cloud以数据为 核心向上提供标准的封装服务，以业务（流程）解耦为前提支撑生产经营、数据加工分析等应用。概括的说, Cloud是犬数据平台的载体，为其提供了基础运行环境。大数据平台：9外围关系：数据来源与生产系统的ADB, SID等；9服务对象：数据应用、反馈生产系统；9核心内容：数据管理、数据组织、数据管控、数据服务;9承载关系：0 IqqS统

29、一承载构架；0 PooS数据集与SID和ADB并列；0 PgS技术服务集：互为补充；0 PaaS业务服务集：单独形成面向分析业务服务集;17.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services-IBM大数据平台解决方案大数据平台总体架构设计19.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services总体逻辑架构图基于企业大数据平台生态

30、系统框架，总体架构可分为系统平台和参与人两大部分，其中系统平台可分为大数据平台、总部IT系统和省分IT系统，参与人可分为企业内部用户、外部用户、系统建设厂商21.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services总体逻辑架构图#.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services总体逻辑架构图J集成厂商SDKAP模型实施厂商咨询厂

31、商信息提供商DW/DM图例省分系统逻辑库物理库数扌居流控制流系统建设 厂商企业内部用户公司领导业务主管业务一线企业外部客户个人客户公司客户合作伙伴总部系统据应用标准化分析开发平台数据整合与存储统一 laaS服务接口Cloud-i （资源）工具#.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services总体逻辑架构图23.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Co

32、nsulting Services总体逻辑架构图应用开发平台标准化API数据应用分析模型SDK工具软件数据管控数据归档近线区数据服务EASB服务高层接入服务视图服务脚本服务数扌居接入服务管理L大数据平台生产系统<数据整合与存储应用：应用隼市部门部门隼市省分隼市省分隼市标准策貉管理作业管理交换管理处理逻辑定义ADB非结构化数扌居知识库流数扌居获取管理层平台管理监控告警数扌居处理层数扌居抽取数扌居转换数据装载7接入适配数据交换层传输路由舎卜#1前盍机总部系统备份备份文件文件I?前肓机m 曹 u -工SIDADB省分系统备份备份 备份 备份 文件文件卩文件 文件数扌居标准-舊元数据明细类数据归

33、档区明细类数据快照类数据日志类数扌居参数类数据元数扌居图例物理库逻辑庠#.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services总体物理架构图25.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services总体物理架构图SaaSPaaSs-八-、高端存亶网络设备中低端存储86服M关注软件架构与 服务，提供应用 在基础设施中进 行计算所需要的

34、各类服务laaS提供系统运行 所需的计算与 存储资源提供能够满足 用户需求的各 类应用程序小型杓诂固化龌小型机7X86 SM嗓群 实时流朋；SMP+MPP+平台数据归档区资#.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting ServicesCompute Intensive Applications27.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Ser

35、vices#.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services大数据平台方案设计关键点和相关方法论关键点关键点描述咼口J用 数据提供-数据全面性-数据质量-数据快速提供与分发数据整合 分区与定位-应该如何给大数据平台划分数据区，每个区的数据目标是什么-应该分为哪些类数据整合区，有多少个数据库，每个数据库的 定位是什么，必要性如何数据存储 成本与性能-海量、多样性、实时数据的高性价比的数据管理-在线、近线、离线数据的管理策略-易扩展的数据存储架构自助式 应用开发

36、-支持开发人员的敏捷化开发-支持最终用户的自助式的查询、分析和挖掘支撑大数据业 务战略的应用 框架-自顶向下：五个一点要承接-自底向上：从大数据4V特性，如何进行创新，真正实现IT对业 务的推动方法论-IBM行业模型©Tom 与 SID-IBM数据治理方法论-DW2.0方法论-企业信息工厂方法论-维度建模方法论-IBM Bl方法论-维度建模方法论-IBM Bl方法论-Hodoop实施方案-IBM Bl方法论-工行数据大集中经验-IBM企业架构(EA)方 法论-IBMCBM业务组件模 型29.Airtel | IBM | Confidential© Copyright IBM

37、 Corporation 2011Business Consulting Services-IBM大数据平台解决方案分项专题关设计思想及注点31.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services数据获取方案设计思想和关注点樓I采集范围卜数据分布传输-囲睪企业现有数据模型+IBM行业娄媚模型+其它优秀实 践，确立企业级逻辑数据模型-结合逐步实现一点源头采集、覆盖MBO全域全景数据， 满足横纵向、内夕卜部众多数据源需要-根据系统中不同数据类型的时间串口（实时/准实

38、时/日 月）确定合理的麴居采集周期-根据管理要求，确定娄嫌的采集周期要求，并执行_卿合适的采集技术，保证数据原生态、时效要求_针磁吉构化/非结构化、海量咖并发处理、实时咖处 理等要求”确定统一的和标准的麴居采集方式-保证采集与源系统联动,避免源系统变化影响-根帥§类型、癖量、数据时效等特性选择合适的传输技摄口策略_确定娄媚采集和传输过程中的关键问题点,监控采集可 能出现的问题。一数据采集问题的排错机制和容错机制。33.Business Consulting Services数据整合与存储方案设计思想和关注点生命周期-明确应该存在几套数据模型，每寒攵据模型的定位和承接关系，统一模型 和

39、个性化模型之间的关系，如何满足省分5级/7级要求-选择企迥有数据模型+IBM行业数据模型+其它优秀实践，确立企业 级逻辑数据模型的主题域、数据分类和数据子类-基于业界近期硏究进展，讨论数据整合区域的基本划分层次-明确整合数据区中应该有多少个逻辑/物理数据库，具体定位-SA、ODS、DWD、DWA、DM数据集进一步细分的策略，实时中的建 模策略、参照方法论等建设方法-操作型/分析型数据数据、结构化方E结构化数据、实时方E实时数据等不 同数据类型的功能划分和整合策略-各个数据集/库中应该存放哪些数据，包括数据类分布和数据生命周期分 布策略；数据在不同数据集间的复制策略，如数据集市是否全量保存 DW

40、D中的CDR-大数据的3V特征，对数据存储与处理的要求，满足9621的支撑要求-结构化数据、非结构化数据的特征分析,相应的存储管理策略,不同类 型数据的共用机制-非结构化数据的分类、标引等结构化信息的提取方法-内翩据管理技术在实时流数据处理中的具体应用策略-结构化/非结构化数据、实时月E实时数据等不同类型数据应该使用哪些 软硬件平台，包括DBMS管理和处理能力要求，计算、存储、网络平台-不同数据生命周期的数据清理机制、数据存储管理策略，数据在在线区、 近线区、归档区的自动归档与自动恢复机制。35.Airtel | IBM | Confidential© Copyright IBM C

41、orporation 2011Business Consulting Services数据服务方案设计思想和关注点#.Airtel | IBM | Confidential© Copyright IBM Corporation 2011Business Consulting Services数据服务方案设计思想和关注点f麴居服务内涵-指对大数据平台中的各种娄娠进行封装，通过各种服务方式向 不同应用系统提供数据月艮务,以满足用户的多样性数据请求。数据服勢理解方案设计可行性服务层次与me臧协作服务运行方式服务功能划分麴居服务目标-建立应用和数据之间标准化的访问接口，能够快速响应用户的 各种数据请求，提升与外部系统实时的互动与信息共享能力;-将数据与应用隔离开来,实现系统间的松耦合性，依托大数据 平台能力，交t各种数据请求作出快速响应”实现实时的信息共-将各种接口技术及响应模式组合成多种服务方式，快速响应各 种服务请求，用户可根据实际请兄囲睪适合自己的服务方式;-耳各数据服务划分为3个层次，中层服务、底层服务开放给内部 应用系统使用，高层服务向所有用户开放；-数据应用基于数据服务,通过EAB取得数据，数据服务可复用