中国移动企业级大数据中心建设指导意见V1终版资料

1、中国移动企业级大数据中央建设指导意见为进一步提升中国移动互联网战略的效劳水平,对内驱动企业治理的精细化、智能化,对外提供信息效劳型产品,实现大数 据开放后的运营和效劳提升, 公司决定在全国范围内实施中国移 动企业级大数据中央建设工作, 通过整合全公司数据资源, 盘活 数据资产,助力公司第三条曲线的拓展,以效劳“内增效、外增 收的整体企业战略,保证中国移动在剧烈市场竞争中的可持续 开展.一、建设要求与重点企业级大数据中央作为中国移动唯一、 统一的数据采集、处 理、效劳和运营的平台,通过“统一采集、统一存储、统一治理、 统一运营和统一效劳,形成集团及各省市公司“多节点、“网 状网形态的数据和效劳共

2、享水平； 具备独立机构以承当平台建 维、数据交换、资产治理、应用开发、数据效劳和数据运营责任. 为企业内、外部客户提供“按需的效劳水平,辅助企业决策, 彰显数据价值.企业级大数据中央的建设要求包括三方面：一建好组织：建立相对独立的、专业的企业级大数据中 心治理机构,立足公司全局,全面负责企业级大数据平台的规划、 建设、运维,以及数据资产治理、产品开发和数据运营等职能.二搭好平台：企业级大数据中央满足中国移动全部数据“统一采集、统一存储、统一治理、统一运营、统一效劳的要 求,实现逻辑集中；全部数据的采集、处理和存储分布于多个节 点,进行物理分散,同时实现关键数据资产的异地容灾备份.三做好效劳：企

3、业级大数据中央能为集团各部门、专业 基地位置等、专业公司咪咕、互联网、政企、在线效劳、 物联网等、各省公司及外部行业提供灵活的“按需效劳.二、建设重点企业级大数据中央建设重点要求如下：一企业级大数据中央的水平要求为了承接大数据中央的根底平台治理、数据交换、资产治理、应用开发、数据应用、数据运营六个责任,在大数据平台技术架 构层面提供数据根底效劳水平、 系统平台治理水平、数据资产管 理水平和应用共享开放水平四个局部：数据根底效劳水平：数据根底效劳水平是大数据平台的基 础,包含数据采集功能、数据存储运算功能、数据交互功能.数 据采集需包括来自 BSS、OSS、MSS的根底数据、来自于用户 上网行为

4、的DPI二次解析数据以及来自外部的第三方数据的数 据采集.数据存储运算功能可根据数据类型及应用采用不同类型 的数据库技术实现对不同价值、 规模、时效性的数据差异化存储 和运算.数据交互功能是实现不同形式的数据存储之间的数据交系统平台治理水平：大数据平台需具备系统平台治理水平, 提供对大数据平台的软件和硬件资源的治理,包括诸如资源管理、负载治理、配额治理以及计量治理等.通过系统平台治理能 力大数据平台治理者可以根据租户提出的平台资源和水平的中 请进行资源分配、监控、动态调整以及资源开销核算.数据资产治理水平：数据资产治理水平包括数据质量治理、 数据平安治理等.数据平安治理提供跨租户、跨时间、跨平

5、台、 跨任务的数据质量监控与治理. 数据平安治理水平对大数据平台 的使用者进行相关的账号、授权、鉴权等设置.应用共享开放水平：为支持应用开发者高效、平安、标准的 进行应用开发,大数据平台需要具有应用开放水平,应用开放能力包括开发者治理门户、 统一调度平台等功能.通过开发者治理 门户实现注册认证、资源申请、数据申请、开发上线功能的治理. 统一调度平台需集成图形化的开发界面,通过统一封装的函数库提供类SQL的开发语言,以屏蔽底层差异性,降低业务人员的 开发门槛,实现快速的业务开发.二企业级大数据中央的技术架构根据“逻辑统一,物理别离的原那么构建全国统一的多域融合企业级大数据中央.在云资源池根底上根

6、据“1+31 方式在总部和省公司分别建设总部节点和省级节点.总部节点采集总部系统和专业公司系统以及全国性、 总体性对外业务合作的外部数 据；省级节点采集省内系统 BSS、MSS、OSS三域及其它系统数据、省级对外业务合作的外部数据.总部节点和省级节点之间通过轻度汇总和高价值详单数据接口进行数据交互,逐步形成全 国共享、按需效劳、形成大数据的良性生态圈,对内对外提供数据、平台和应用效劳夕像应用缶部门 春地专业公司也专制fl聃.由北 WIKIICI明*-一图1中国移动企业级大数据中央的体系架构外部利用现有集中化经分系统, 向企业级大数据中央演进, 利用 省公司现有经分系统水平, 演进为省公司大数据

7、中央, 合理利用 现有资源,实现大数据中央水平的快速搭建和提升,打造“ DW+MPP+Hadoop混搭技术架构.Hadoop :承载大数据中央的ETL功能,实现三域数据定时、 实时数据处理；承载清单、网络信令、非结构化数据等根底数据 处理；建立企业级统一标准模型,弁且对外提供明细查询效劳. 采用Hadoop技术和PC效劳器架构解决数据量大、数据多样的 问题；MPP :是使用SQL进行结构化大数据处理和分析最好的技术选择,具有高弁发、支持多表联合复杂查询、高平安等优势.DW:传统数据库,面向企业级高性能数据处理,进行复杂汇总分析运算.采用高性能库和传统小机架构提升数据分析性能,集中保证集团、省级

8、应用.企业级大数据中央各节点根据水平需求划分为数据源、资源池层、数据采集/分发层、数据计算和存储层、水平开放层、数 据运维和治理数据、数据应用.图2企业级大数据中央节点功能结构数据源数据源包括企业内部 BSS域、OSS域、MSS域各系统的清 单级和汇总级数据,以及企业外部系统的数据.重点接入LTE的XDR数据,实现O域、M域及外部数据源 与现有B域数据的融合;资源池层采用云计算、虚拟化技术整合计算、存储和网络等硬件资源 向上提供效劳.数据采集和分发以离线批抽取和在线实时抽取方式从数据源系统采集数据, 将采集数据或DPI二次解析后的数据根据数据种类分发至负责 数据计算和存储的各类集群,并协调各集

9、群之间的数据同步.数据计算和存储为适应各类海量结构化,非结构化数据的计算和存储要求的 多种集群.包括面向批处理的 Hadoop集群(MR , Spark ,用 于 ETL )、面向文件存储和查询的 Hadoop 集群(HDFS,Hbase,Hive )、流处理集群(Storm/Spark Streaming ) 传统数据仓库集群DW、MPP数据仓库集群、内存数据库集群. 各集群数据流向呈交叉网状,应支持资源的多租户调用.水平开放层从数据、API、工具三个层次对外提供效劳.透明数据层在 各类数据计算和存储集群之上提供一个面向各类应用的统一数 据访问水平,屏蔽各计算和存储集群的复杂性.OPEN A

10、PI以接口方式封装各类数据计算和存储集群的水平,供各类应用调用.并提供自助报表、OLAP工具、SAS/SPSS数据挖掘、IDE等工 具类效劳.数据运维和治理包含数据资产治理、元数据治理、统一调度、多租户治理、 资源池运营、权限治理、平安治理、系统运维治理.数据应用架构上对数据和应用进行解耦, 各类应用不同的应用开发 商通过水平开放层的效劳使用数据.应用涵盖企业内、外部, 包括报表、查询、统计、分析、挖掘,对外价值变现等.基于以上大数据平台重点支撑的需求,系统技术架构应包括 数据源、数据采集与处理、数据存储、数据应用四个主要组成模块.梳理大数据平台系统应具备的关键技术,深入研究各项大数据关键技术

11、,为未来公司级大数据平台建设实施工作提供技术储 备和参考图2企业级大数据中央的技术架构四企业及大数据中央对外效劳的模式与场景企业级大数据中央对外提供SaaS、PaaS、DaaS的效劳模式,将大数据采集、存储和处理的根底水平以及数据本身开放给 个性化应用的开发者,这些开发者可利用开放的水平, 开发个性 化应用或数据；将大数据的应用或数据提供应公司业务部 门、网络部门以及外部行业客户.图3企业级大数据中央对外效劳模式大数据中央对外提供效劳的模式分为三种：SaaS、PaaS和DaaS oSaaS Software as a Service , “软件即效劳是按需求 进行应用开发,提供指标、报表或专题

12、分析,以应用的方式提供 给需求方使用.使用者通常为无自行开发水平的需求方.应用场景举例：1市场部通过自助效劳、即席查询等方式自行分析；2 大数据平台运营方开发业务统计报表供市场部、财务部等部门作为决策和治理依据.PaaS Platform as a Service 平台即效劳提供应使用者部 署应用到云根底设施上的水平, 这些应用是使用者通过使用平台支持的编程语言和提供的开发工具创立或采购的.PaaS使用者不必关心底层云根底设施包括网络,效劳器,操作系统,或存 储,但需关心所部署的应用,并可能限制应用环境的配置.使 用者为有个性化需求、深度需求,利用平台工具和数据,自行组 织应用开发的内部需求者

13、、 合作伙伴以及外部数据需求方.应用场景举例：网络部第三方厂商利用大数据平台直接调用三域融合 数据,利用其归属租户存储其分析数据,通过统一 IDE开发其应用,以API接口方式与其原有应用对接.DaasData as a Service, 数据即效劳是对各种数据进行不 同程度“数据封装,通过各种效劳方式向不同应用系统提供数 据效劳,满足企业内外部用户的多样性数据请求.建立数据效劳请求和数据之间标准化的访问接口,提升与内外部系统的互动和信息共享水平.使用者为有个性化需求、深度需求,需要从大数 据平台获取数据,自行组织软硬件资源以及应用开发的内部需求 者、合作伙伴以及外部数据需求方.应用场景举例：1

14、、开发者通过数据集成平台进行批量数据的准备与接口配置.2、开发者通过数据封装平台将准备好的数据封装成相应的查询接口.3、开发者通过消息中间件平台提供的接入、接出水平进行接口配 置.4、开发者将以上3类接口,注册到效劳集成平台中,形成数据效劳访问接口.5、上层应用或外部系统,通过效劳集成平台查看数据效劳接口信息,并调用.企业级大数据平台的数据膨胀给整个开发、架构、运维体系 都难已承载巨量的数据,对平台支撑以及系统治理水平带来巨大 的挑战,同时数据是企业最核心的资产, 如何有效进行数据的保 值和增值,需要建立大数据中央的数据治理和数据资产运营治理 体系,实现数据治理的降本增效,提升数据治理水平与数

15、据价值.企业级大数据中央数据治理包括数据标准治理、数据运维、数据资产运营和数据资产应用,通过进行全面数据模型梳理、优 化,实现数据资产的可视、可控,建立全流程的开发维护标准和 流程,支撑面向内部应用和对外效劳的数据治理应用.企业级大数据中央的数据资产包括根底数据、数据模型、挖 掘模型、数据字典、元数据及数据分析报告等方面.(1)数据标准治理当前大数据时代下,数据作为企业最有价值的核心资产,成 为企业间竞争的核心因素；企业级大数据中央将不断引入三域数 据、企业外部数据等海量结构化、半结构化数据,数据治理、运 维难度加大,亟需建立大数据平台完整的数据规那么治理、标准开发以及运维体系：数据规那么治理

16、体系须增强大数据中央的数据管控, 增强数据模型设计、数据字 典规那么设置等治理流程标准化、标准化.标准开发体系支撑面向PAAS效劳开放的图形化开发工具,支持应用商在企业级大数据平台进行开发、 调用,面向多租户实现图形化的开 发界面及统一封装函数库的集成；通过可视化拖拽方式对API进行编排,实现数据建模过程,满足业务部门自助开发的需求.运用类SQL语言实现传统 DB、HADOOP、MPP等平台的统一 操作,屏蔽差异.标准运维体系解决大数据平台各系统串行调度模式无法满足多平台协作、 大并发处理的要求,通过对各平台数据处理任务基于输入表解 耦,简化调度配置及监控运维工作,提升了整体执行效率.(2)元

17、数据治理元数据治理属于企业级大数据中央的数据治理域的根底模 块,基于元数据的关联分析水平和图形化展现水平,通过元数据OpenAPI实现水平开放,为大数据中央的数据资产治理、数据 质量治理、数据开发共享、数据平安和业务应用提供辅助功能支 撑,提升企业大数据平台的运维治理水平和用户感知.企业级大数据中央的元数据包括技术元数据、业务元数据和治理元数据三类,涵盖大数据中央的数据源、资源池层、数据采 集和分发、数据计算和存储、水平开放层和数据应用层.与传统数据仓库相比,企业级大数据平台元数据治理的差异主要表达在两个方面：分布式存储和计算框架企业级大数据中央采用 MPP数据库、Hadoop分布式存储和计算

18、框架,以降低数据存储和处理本钱,提升系统横向扩展能 力,支持互联网业务开展和大批量数据处理分析的需要.数据源接口文件以HDFS文件的形式进入Hadoop平台,经过一到多 个步骤的ETL处理后进入HIVE、HBASE或者MPP数据库中.与传统数据仓库相比,大数据平台的数据实体数量更庞大,数据处理过程更复杂.多租户环境在大数据平台多租户环境下,要求元数据治理模块为每个租户分别提供逻辑上独立的元数据存储库、元数据获取功能、治理功能和应用功能.每个租户可以通过调用元数据治理模块的OpenAPI实现元数据的扩展治理功能和应用功能,租户之间可以通过共享沙箱实 现元数据的共享访问.(3)数据质量治理数据质量

19、治理是企业级大数据平台数据治理域的核心子系统之一,提供数据质量监控、告警、问题分析处理和数据质量评 估等功能,旨在建立大数据平台数据加载处理和应用各个关键环 节、关键实体的数据质量监控预警机制,及时发现、报告、处理 大数据平台中的数据质量问题,保证大数据平台的数据质量.数据质量治理目标是保证企业级大数据平台数据准确性、合法性、及时性等,并为大数据平台运维人员提供数据的波动性、 平衡性、合理性等治理手段,治理范围涵盖大数据中央的数据源、资源池层、数据采集和分发、数据计算和存储、水平开放层和数 据应用层.三、建设实施原那么为了保证企业级大数据中央的顺利建设, 要求根据如下六项 原那么进行推进：1、

20、统一原那么：以“建好组织、搭好平台、做好效劳为目 标,实现统一采集、统一存储、统一治理、统一运营、统一效劳;2、开放原那么：借鉴互联网思维,强调开放、协作、共享,打造开放的“和生态；3、先进原那么：积极研究、引入先进技术及经验,建设“低 本钱、高效率的大数据中央；4、平安原那么：强化流程治理和日常监控,保证信息平安； 建立异地容灾平台,保护企业关键数据资产；5、利旧原那么：充分考虑现有系统、平台在架构、数据、应 用、运维和人员等方面的储藏和积累,把已有的资源尽量充分复 用或利旧,降低整体本钱；6、渐进原那么：统一规划、分步实施,逐步优化组织机构, 完善平台水平,提升效劳水平,稳步推进企业级大数

21、据中央建设.四、组织架构及责任、岗位建议一企业级大数据中央组织保证建议为了保证企业级大数据运营工作,尽快发挥数据价值,根据 当前各省公司实际开展现状,对组织架构建议如下：目标方案：各省公司由总经理或分管副总经理担任公司CIO首席信息官一职,统筹大数据相关工作,并增设二级部门“大 数据中央.大数据中央由具有市场、网络、财务等专业技能人 员联合组成,承当大数据平台的规划、建设、维护及运营职能；过渡方案：各省公司在业务支撑系统部下设二级副部门“大数据中央.大数据中央由业务支撑中央人员为主组成,承当大 数据平台的规划、建设及维护职能.推荐各省选用目标方案.存在相关困难的,可以以过渡方案 逐步演进.二大

22、数据中央责任大数据中央责任如下：一、负责大数据平台的规划、大数据技术演进的研究、大数据平台的建设和维护、以及相关系统、数据等平安规划和实施；二、制定大数据治理相关规章制度,构建完善的数据治理体系,实现跨域数据的元数据、数据模型治理、数据质量治理和数 据生命周期治理等；三、负责大数据产品的研发,覆盖产品设计、开发和运营,以及效果后评估全流程治理,包括数据产品商品化过程的治理,以及数据效劳的计费；四、负责大数据产品售前、售中、售后的一体化支撑,探索 大数据对内部各部门的效劳模式, 以及对外在各行业的解决方案 以及商业模式,形成大数据应用的产品.三与现有职能部门的关系大数据中央通过统一采集企业内外部

23、各数据源系统数据,通过加工处理后形成大数据效劳产品, 为内部各相关部门及外部实 体提供效劳.与数据源治理部门的关系：大数据中央作为企业级数据资源池, 与数据源治理部门协调 制定数据获取标准,统一采集 B域、O域、M域数据.数据源 治理部门包括：业支、网管、数据、业务基地、财务、人力等. 同时,根据对外效劳需要,接入外部数据源提供的相关数据.数据源治理部门负责参照标准数据获取标准,及时、准确地提供数据.与内部效劳部门的关系：大数据中央为内部各效劳部门提供大数据产品效劳,效劳对象部门包括：市场、集客、数据、网络、财务、审计、人力、计 划等.内部各效劳部门负责提交业务需求及产品使用效果反应.与外部效

24、劳对象的关系：大数据中央提供面向外部对象的行业应用产品及信息效劳,效劳对象包括：政府机关、各企事业单位、个人等.(四)岗位人员建议设置(1)岗位设置基于大数据中央责任要求,建议配置如下岗位：平台规划、建设和维护类：包括：平台架构岗位、技术开发岗位、平台维护岗位.数据运营类：包括：数据保证岗位、业务分析岗位、数据挖掘岗位和数 据产品岗位.各岗位具体责任如下：平台架构岗位负责平台建设和技术保证,包括：大数据平台规划设计、 大数据平台运营治理、数据平台相关技术保证、测试平台的 维护.技术开发岗位负责大数据平台的技术研究、开发和改良,包括平台软 件、中间件等设计、开发.平台维护岗位负责大数据平台的系统

25、维护、业务维护,包括：系统监 控、系统优化、业务监控和业务优化.数据保证岗位负责数据的加载以及数据质量保证,包括：各类数据的加载、数据质量的保证、信息平安的保证、数据水平的开放.业务分析岗位负责业务分析和需求导入,包括：业务调研、需求分析、 跨部门沟通、相关业务运营.数据挖掘岗位培养数据科学家.负责大数据建模和创新,包括：大数据分析、大数据建模、大数据挖掘、机器学习.产品经理岗位负责大数据产品的设计筹划、开发、营销,包括：产品 运营、数据效劳、可视化和平台产品的设计、行业解决方案 和运营.(2)角色设置大数据技术和应用对公司的人才培养提出了新的要求,传统的技术人才已经无法满足大数据变现的需要,

26、因此,公司需要物色和培养大数据相关的专业人才. 在大数据运营的过程中,中国 移动自有技术力量不可或缺, 必须具有掌握核心架构的人员, 与 业务、流程和分析相关的内容也应该自我掌控.结合国内外电信运营商的先进经验,企业级大数据中央需要具备以下类型的人 员：运营分析师：根据公司领导和业务部门的需求,深入分析 和挖掘数据,形成专题分析报告；数据科学家：建立各种数据挖掘模型,进行数据的深度分析；数据治理员：制定数据标准,实施“数据治理,及时解决数据质量问题；数据建模师：制定标准的数据模型,保证数据模型的一致性,评估逻辑模型和物理模型的差异和矛盾；数据架构师：设计数据库,数据模型,ETL过程,数据仓库设

27、计和数据系统的改良.对数据架构的开展未来做出决 定和建议；技术架构师：紧跟新技术,组织对产品的测试和选型,负 责制定创新架构；数据咨询师：借助我公司的数据资源帮助企业内外部的组 织实施各类大数据工程；数据产品师：负责大数据产品的设计筹划、开发、营销.(3)人员配置建议借鉴互联网公司运营大数据平台的经验, 结合中国移动现状 建议人员配备分三个阶段逐步增强中国移动自有力量, 逐步掌握 大数据平台的核心技术、 开发和数据运营,分阶段降低厂商支撑 人员比例.初期阶段,以现有厂商合作模式为主, 在平台规划和设计方 面增加中国移动自有人员水平和数量, 掌握核心架构规划和设计 水平,掌控数据运营核心环节.同时鉴于大数据新技术的复杂性, 增加支撑厂商的大数据平台规划、建设和维护人员,以及数据运 营人员.建议中国移动大数据中央规划、 建设和维护人员每个省 到达20-30人,数据运营人员5-10人,厂商支撑人员65-100 人.移动人员和厂商人员比例到达 1:2.5左右.中期阶段,逐步增强中国移动自有力量,在掌握核心架构和水平根底上,逐步掌握核心功能的开发和维护.逐步减少厂商的支撑人员占比.建议中国移动大数据中央规划、建设和维护人员到达50-70