走进大数据时代v3

规划设计部2015年5月走进大数据时代目录：1.大数据时代的思维变革2.大数据时代的技术变革3.中国移动的大数据时代1.1思维变革1.2商业变革1.3管理变革1.1大数据时代的思维变革莫里的导航图——大数据的最早实践之一马修·方丹·莫里（MatthewFontaineMaury）美国海军军官、水文学家、海洋学创始人之一。1842年在美国海军天文台和水道测量处任职，主管海图及仪器库。当时海军依赖于陈旧的图表，其中大部分还有重大的错误，而潮汐、风和洋流的经验知识是无法从书籍和地图中学到的。他清点库房时发现，库房里存放着许多航海书籍、地图和图表；还有塞满了旧日志的发霉木箱，这些都是以前的海军舰长写的航海日志。这里有他所需要的信息，例如对特定日期、特定地点的风、水和天气情况的记录。大部分信息都非常有价值，莫里意识到，如果把它们整理到一起，将有可能呈现出一张全新的航海图。莫里和他的20个助手把这些破损的航海日志里记录的信息绘制成了表格，把整个大西洋按经纬度划分成了五块，并按月份标出了温度、风速和风向。整合之后，莫里知道了一些良好的天然航线，这些航线上的风向和洋流都非常利于航行。他所绘制的图表帮助商人们节省了一大笔钱，因为航海路程减少了三分之一左右。1855年他已经绘制了120万数据点，在这些图表的帮助下，年轻的海员们不用再亲自去探索和总结经验，而能够通过这些图表立即得到来自成千上万名经验丰富的航海家的指导。他的工作为敷设横越大西洋的海底电缆创造了条件。所以无论在海面上或在海底下，莫里都可被认为是海洋学的奠基人。即使到今天，美国海军颁布的导航图上仍然有他的名字。1.1大数据时代的思维变革大数据中的“大”不是绝对意义上的大，大数据是指不用随机分析方法这样的捷径，而采用所有数据的方法。因为大数据是建立在掌握所有数据，至少是尽可能多的数据的基础上，所以我们就可以正确的考察细节并进行新的分析。在任何细微的层面，我们都可以用大数据去论证新的假设。样本→总体对于“小数据”而言，最基本、最重要的要求就是减少错误，因为收集信息量的有限意味着细微的错误会被放大，甚至有可能影响整个结果的准确性。但是，即使只是少量的数据，这些规避错误的策略实施起来也是耗费巨大。大数据不要求数据全部精确，因为数量的巨大可以弥补精确性的不足。精确→无需精确相关关系强是指当一个数据值变化时，另一个数据值很有可能也会随之变化。相关关系通过识别有用的关联物来帮助我们分析一个现象和预测未来，而不是通过揭示其内部的运作机制。因果关系→相关关系所有DNA和肿瘤DNA排序30亿个碱基对1个温度测量仪100个温度测量仪客户之间的相似性产品之间的关联性1998年协同过滤技术1.1大数据时代的思维变革一个东西要出故障，不会是瞬间的，而是慢慢地出问题的。现在，在机器、发动机和桥梁等基础设施上放置传感器变得越来越平常了，这些传感器被用来记录散发的热量、振幅、承压和发出的声音等。通过收集所有的数据，我们可以预先捕捉到事物要出故障的信号，通过尽早地发现异常，系统可以提醒我们在故障之前更换零件或者修复问题。预测早产儿的病情诊断收集和分析数据的花费比出现问题的损失小得多。预测性分析并不能解释故障可能会发生的原因，只会告诉你存在什么问题，直观、高效。安大略理工大学一支研究队伍与IBM一起和很多医院合作，用一个软件来监测处理即时的病人信息，然后把它用于早产儿的病情诊断。系统会监控16个不同地方的数据，比如心率、呼吸、体温、血压和血氧含量，这些数据可以达到每秒钟1260个数据点之多。在明显感染症状出现的24小时之前，系统就能监测到早产儿细微的身体变化发出的感染信号。1.2大数据时代的商业变革这些数据被用来翻译、查重，甚至可以通过一个词或词组第一次出现的时间及其成为流行词的时间，据此发现几百年来人类思维发展和思想传播的轨迹。一切皆可量化当沟通变成数据总部位于亚特兰大的AirSageInc.公司每天通过处理来自上百万手机用户的150亿条位置信息，为超过100个美国城市提供实时交通信息。还可以揭示城市夜生活最繁荣的地方或者有幸队伍聚集了多少人。当文字变成数据当方位变成数据格网线公元前200年公元1400年经纬度比例尺本初子午线零度经纬线1884年20世纪40年代墨卡托方位法1978年GPS现在对电塔、无线路由器的信号强度三角测量来定位Facebook通过“社交图谱”将社交关系数据化，一些消费者信贷领域的公司考虑开发以此为依据的信用评分，因为研究显示个人会偿还债务的可能性和其朋友会偿还债务的可能性呈正相关。Twitter让人们能轻易记录以及分享他们零散的想法，从而使情绪数据化。它与两家公司合作对微博做了句法分析，还有情感分析技术，以获得顾客反馈意见的汇总或对营销活动的效果进行判断。自动翻页的扫描仪识别数字图像的光学字符识别软件谷歌1.2大数据时代的商业变革数据潜在价值数据的价值并不仅限于特定的用途，它可以为了同一目的而被多次使用，也可以用于其他目的，当然如果以某种方式收集的单一数据集有多种不同的用途，它就具有双重功能。1、数据再利用处于休眠状态的数据的价值只能通过与另一个截然不同的数据集结合才能释放出来。用新的方式混合这些数据，我们可以做出很有创意的东西来。2、数据重组随着时间推移，有些数据会失去部分用途，继续使用旧数据，不仅不能增加价值，反而会破坏新数据的价值。但是并非所有数据都会贬值，例如地域、宗教等固有的数据还是可以保存尽可能长的时间3、数据有效性网络公司可以捕捉到用户在其网站上做的所有事情，然后将每个离散交互当作一个“信号”，作为网站个性化、提高服务或创建全新数字化产品的反馈。<微软与谷歌的拼写检查>数据废气可以成为巨大的竞争优势。4、数据废气政府是大规模信息的原始采集者，并且可以强迫人们提供信息而不必加以说服或者支付报酬，但往往利用率很低。于是“开放政府数据”的倡议响彻全球，奥巴马就职第一天就明了美国联邦机构公布尽可能多的数据，英国政府也已经颁布相关规定鼓励信息公开，欧盟、澳大利亚、巴西、智利也相继出台并实施了开放数据策略。5、数据开放1.2大数据时代的商业变革大数据价值链谁在这个大数据价值链中获益最大呢？我们正处在大数据时代的早期，思维和技术是最有价值的，但是最终大部分的价值还是必须从数据本身中挖掘。基于数据这些公司拥有大量数据或者至少可以收集到大量数据，却不一定有从数据中提取价值或者用数据催生创新思想的技能。处于价值链的核心基于技能通常是咨询公司、技术供应商或者分析公司。它们掌握了专业技能但并不一定拥有数据或提出数据创新性用途的才能。在大数据中淘金最后却要拱手让给大数据拥有者基于思维数据和技能并不是成功的关键。它们往往利用公开的数据挖掘出新的价值，再将成果出售给相关机构，能先人一步发现机遇。数据才是真正的财富

随着大数据时代的推荐，先驱者的优势会逐渐减弱越来越多的人掌握技能加上外包公司使得编程技术越来越廉价

数据思维技术数据中间商从各种地方搜集数据进行整合，然后提取有用的信息进行利用。而数据拥有者不介意行业外的中间商汇聚他们手里的数据，间接的实现数据共享而从分析结果中受益。1.3大数据时代的管理变革而大数据的价值潜力极大地激励着他们进一步采集、存储、循环利用我们个人数据。随着存储成本继续暴跌而分析工具越来越先进，采集和存储数据的数量和规模也将爆发式地增长。大数据的风险2006年8月，美国在线（AOL）公布了大量的旧搜索查询数据，本意是希望研究人员能够从中得出有趣的见解。这个数据库是由从3月1日到5月31日之间的65.7万用户的2000万搜索查询记录组成的，整个数据库进行过精心的匿名化——用户名称和地址等个人信息都使用特殊的数字符号进行了代替。这样，研究人员可以把同一个人的所有搜索查询记录联系在一起来分析，而并不包含任何个人信息。尽管如此，《纽约时报》还是在几天之内通过把“60岁的单身男性”、“有益健康的茶叶”、“利尔本的园丁”等搜索记录综合分析考虑后，发现数据库中的4417749号代表的是佐治亚州利尔本的一个62岁的寡妇……出现这种无效性是由两个因素引起的：一是我们收集到的数据越来越多，二是我们会结合越来越多不同来源的数据告知与许可模糊化匿名化未知的数据用途用户规模巨大客户流失此地无银三百两小数据时代可行1.3大数据时代的管理变革大数据的发展循序渐进，相关的管理监督策略也是逐步完善，网络安全和信息安全则是信息社会永远不变的课题。伴随着从核技术到生物工程学其他领域的发展，人类总是先创造出可能危害自身的工具，然后才着手建立保护自己、防范危险的安全机制。在这方面，大数据也和其他领域的新技术一样，带来了无法彻底解决的问题。管理规范的变革未来的隐私保护法应当区分用途，对于一些危险性较大的项目，管理者必须设立规章，规定数据使用者如何评估风险、如何规避或者减轻潜在伤害，数据使用者承担法律责任。监管机制根据数据内在风险和社会价值决定不同种类的个人数据必须删除的时间。1、数据使用者承担责任确保政府对我们行为的评判是基于真实行为而非单纯依靠大数据分析。即政府只能依法对过去的真实行为进行追究，而不可以追究大数据预测到的未来行为；或者，在政府评判我们过去的行为时，也应该防止单纯依赖大数据的分析。2、个人动因保护大数据预测分析基于海量数据和庞大的统计计算，难以追踪运算法则，因此大数据将需要被监测并保持透明度，于是将出现新型专业技术和机构——“算法师”，计算机科学、数学和统计学领域的专家，将担任大数据分析和预测的评估专家。他们可以评估数据源的挑选，分析和预测工具的选取，甚至包括运算法则和模型及计算结果的解读是否正确。一旦出现争议，有权考察与分析结果相关的运算法则、统计方法及数据集。3、外部审计当数据成为经济结构中“信息基础设施”的核心组成部分，为了防止其垄断，法律的支持必不可少，如反垄断法4、反数据垄断外部算法师第三方机构承担法律责任严苛的责任规范内部算法师自由公正职业道德目录：1.大数据时代的思维变革2.大数据时代的技术变革3.中国移动的大数据时代2.1MPP数据库2.2HADOOP2.3特点比较大数据处理技术大数据对传统数据处理技术体系提出挑战大数据具备数据量大、数据类型多，数据处理速度要求高和价值密度低的特点，传统数据库无法支撑海量数据（如100TB以上，性能下降）、非结构化数据，现有IOE架构无法线性扩展且成本较高。传统数据分析来源单一，以内部结构化数据为主主要是面向结构化数据事务处理的关系型数据库依赖高性能计算机、单机或并行技术主要利用统计和机器学习算法采集环节存储环节计算环节分析环节大数据分析扩展到传感、互联网、交易等多来源多类型数据扩展到面向非结构化数据和分析梳理的关系型数据库需用分布式并行计算，Scaleout能力需要发展更加智能的挖掘技术，人工智能和机器学习技术关键技术包括：数据分析及批处理：Hadoop日渐成熟，广泛应用；MPP替代现有关系数据结构下的大数据分析处理；流计算等新型计算框架的引入提高实时数据流处理效率。数据交易及查询：分布式关系型数据库和NoSQL解决容量扩展性的同时满足事务处理的不同需求，内存数据库用于提高实时数据处理效率。NoSQLSQL支持新型计算框架HadoopMPP数据库HadoopHadoop：基于HDFS和Mapreduce，被互联网厂商广泛用于非结构化数据处理和半结构化日志处理。编程灵活，扩展性好，基于廉价硬件MPP数据库：基于关系代数，面向结构化数据处理设计。近年演进方向包括：采用MPP提高扩展性、高性能优化支持快速复杂查询、引入x86降低成本、一体机性能优化及高集成度、列存储、打通与Hadoop交互NoSQL：抛弃了关系数据库复杂的关系操作、事务处理等功能，仅提供简单的键值对(Key,Value)数据的存储与查询，换取高扩展性和高性能。Cassendra,Hbase内存计算技术：为了提高数据分析效率，将数据存储到内存进行数据分析spark大数据Hadoop流式计算技术：

针对流式数据,分布式、低延迟、具有自身容错性的实时计算技术storm大数据处理技术2.1MPP数据库MPP

SharedNothing架构：将任务及数据分布到集群中不同的节点上，尽量使得计算在本地完成，通过网络彼此协调计算，集群作为一个整体对外提供服务。MPP

数据库：SharedNothing架构，普遍采用了列存储技术，硬件基于X86PC服务器，存储基于服务器自带的本地硬盘，基于大规模分布式计算（MPP），拥有极高的横向扩展能力（Scaleout）和内在的故障容错能力和数据高可用保障机制。无共享架构开放及容错标准化线性扩展列式存储无共享架构能充分发挥硬件的计算能力及I/O吞吐能力。使得数据分区分布，并行加载，并行处理都实现了高性能，特点是预先为访问做优化（分区、索引）基于x86平台，能降低建设成本，统一系统运维，未来扩容不受限于单一厂商。数据通过副本复制来保证故障情况下的高可用。支持标准SQL，减少学习成本，支持业界流行的第三方商业工具，方便系统集成和开放能力。多节点并发数据计算，通过增加节点进行扩展，基本能做到性能的线性扩展，可以有效支撑PB级别的结构化数据分析。列式存储能有效提升数据检索速度，适合OLAP应用；列式存储还能提高数据压缩率，在大数据时代尤为重要。应用场景：

重点面向行业大数据，应用于数据仓库、数据集市（专项应用库）、历史库（主仓库历史数据存储及长周期趋势分析预测、ETL。2.2HadoopHadoop：是一个能够对大量数据进行分布式存储和处理的软件框架，主要是有HDFS、MapReduce等组成HDFS是一个高度容错性的分布式文件系统，能提供高吞吐量的数据访问，非常适合大规模数据集上的应用分布式存储，数据按块分布在不同节点上运行在普通廉价的服务器上通过不同节点上保存副本实现高容错性存储大文件，高吞吐不适合低延迟数据访问不适合大量小文件存储接口不同于传统文件系统，应用需要重新开发MapRedece是一种编程模型，用于大规模数据集的并行运算。Map（映射）和Reduce（化简），采用分而治之的是想，先把任务分发到集群多个节点上，并行计算，然后再把计算结果合并，从而得到最终计算结果。多节点计算所涉及的任务调度、负载均衡、容错处理等，都由MapReduce框架完成。Hadoop特点：高效：并行方式工作，编程灵活，针对问题优化，对特定问题有优异表现可靠：HDFS多副本机制及MR任务监控经济：部署X86服务器上，软件开源，建设成本低可伸缩：扩展性好，能够处理PB级数据运营：维护、优化及应用开发较复杂，专业人才较稀缺应用场景：非结构、半结构化数据的存储和处理，如互联网厂家广泛应用用于日志处理、网页分析复杂的ETL流程复杂的数据挖掘和计算模型2.3数据库特点比较数据管理技术代表产品优缺点适用场景传统数据库/数据仓库Orale、DB2、Sybase、Teradata很好的支持SQL和事务扩展性不足适用于数据量适中，扩展性需求不高且有SQL需求的应用场景，如计费、数据仓库新型MPP数据库Greenplum、Vertica、AsterData很好的支持SQL、批量加载扩展性适中适合于数据量较多的分析型应用场景HadoopHadoop、MapR很好的扩展性、可处理非结构化数据、批处理效率高、成本低联机查询或OLTP差适合于非结构化数据处理或与MPP形成补充处理海量数据分析应用NoSQLHbase、Cassandra、MongoDB具有很好的扩展性和加载查询性能不支持事务和标准SQL适用于对数据结构不复杂、无表间关联、数据一致性要求不高或通过应用层解决，但是对性能和扩展性有强烈需求的应用，如帐详单查询、微博信息存储内存计算Spark,impala具有很好的扩展性和优化的性能内存计算，内存经常成为瓶颈适用于需要多次操作特定数据集的应用场合，如朋友圈分析，重入网用户分析流式计算Sparkstreaming，storm具有良好的实时计算性能内存是流计算的瓶颈适用于数据量适中，对实时性要求较强的系统，如实时监控，实时营销目录：1.大数据时代的思维变革2.大数据时代的技术变革3.中国移动的大数据时代3.1运营商的数据优势3.2先进省份的发展情况3.3移动大数据的发展策略3.1运营商的数据优势

真实的用户身份：电话号码、姓名、职业等及订单、账户信息

用户行为的全维度信息：使用什么终端、什么时间、处于什么位置、联系了谁、做些什么

信息关联性强：消费行为、行为偏好、用户关系B域O域M域DPI数据域业务平台B域数据以客户关系、用户行为、产品信息等为主，支撑客户经营和产品营销等O域数据以设备数据、告警信息和性能信息等为主，支撑网络监控/网络优化、用户投诉处理等M域数据以财务、人力资源、供应链和办公信息等为主，支撑企业管理、企业办公信息化等DPI数据域以上网日志、内容构成、用户轨迹、网络信令等为主，可支撑流量经营、网络运维和增值服务等九大业务基地：基地数据以用户信息、用户行为信息等为主，可支撑个性化推荐、优化产品和服务等。WAP/短彩信：存储网络日志，可支撑定位网络及终端问题。数据分布数据优势电信运营商掌握丰富的用户身份数据、语音数据、视频数据、流量数据和位置数据，数据的海量性、多元性和实时性使其具有经营大数据的先天优势。随着智能手机和高速网络的普及，运营商能够获得的用户行为数据还将更为丰富。宁夏：处于观望状态，对于大数据平台尚无构思业务区大数据筹备现状指定系统查询平台上报网关性能分析系统省级应用集市集中化经分系统互联网分析系统

大数据共享平台对数据分类存储，面向各上层应用系统提供数据服务LTECS域

Mc/Nc口PS域

2G/3G其他数据来源（指定系统要求）WAP

网关

WAPRadius统一DPI省网出口

IDC

出口ERP数据源

O域

省网

网间B/M域

BOSS

一级业

务平台骨干网

网间

CRM

…

一级

路测系统一级和省级

专业网管

WLAN日志服务器

一级和省级

拨测系统

…应用层大数据平台结构天津：已建设统一采集平台、初步数据共享平台三期15年计划基于经分系统建设大数据平台，对内进行大数据微营销，对外与旅游局合作进行流量及位置监控，后续将逐步整合O域数据基于经分建设大数据平台的省份：福建、浙江、广西、河北、安徽、山东、四川、湖南、甘肃黑龙江：已建设统一采集平台、数据共享平台，计划基于经分系统建设大数据平台，利用经分的计算能力和数据模型长春：已建设统一采集平台、数据共享平台，对于大数据平台的建设构思未成熟综合来讲大部分省公司已初步建设完成O域数据的汇总工作，完全实现需要等统一DPI建设完成，但对于数据的分析应用正处于摸索阶段；B域完成数据整合比较容易实现，上层应用主要用于细颗粒度营销。整体缺乏统一指导，处于各自为政的局面。3.2先进省份的发展情况建设统一采集实现对各类网络与业务设备网管数据的统一采集、管控和共享搭建数据共享平台，进行数据的统一获取、处理、计算，对外提供开放数据访问接口，百花齐放的应用实现数据的归类和聚类分析，逐步进行“应用与数据分离”通过平台+应用的战略实现大数据的低成本存储、快速收集、共享以及深度挖掘的能力大数据的基于网管系统三层架构演进大数据处理（信令、话单）分布式离线计算（Hadoop）分布式采集（Flume-NG）分布式文件系统（HDFS）MR框架HIVEHBASE…分布式实时计算（SparkOnYarn）Spark核心引擎SparkSQLSPARKR…消息队列流计算（Storm/Sparkstreaming）缓冲内存库(GemFire)拓扑管理分布式任务调度GPLoaderGreenPlumDB传统数据，应用数据开源ETLMYSQL3.2辽宁省—大数据落地辽宁省情况-数据变现36个用户分群15个电商APP深度解析能力17种电商用户行为分析能力查看订单查看评价查看晒单查看咨询发表评论发表咨询商品浏览商品详情搜索加入购物车加入收藏取消订单取消收藏删除订单删除购物车提交订单支付淘宝美团大众点评糯米京东唯品会国美在线苏宁易购一号店团800折800当当网聚美优品美丽说蘑菇街高端商务旅游喜好校园用户理财喜好资讯喜好购物喜好动漫喜好影视喜好游戏喜好节俭用户历史爱好微博喜好时尚喜好体育喜好摄影喜好阅读喜好音乐喜好汽车喜好都市白领农村用户应用喜好家居喜好房产喜好通讯喜好军事喜好医学喜好教育喜好社交用户手机爱好健康养生法律喜好科技喜好利用云平台提供的X86集群计算能力，基于Hadoop分布式架构，对收集到的信令数据结合动态地址库、主题地址库，进行挖掘和分析。最终形成36个用户分群、15个电商APP深度解析、17种用户在电商平台上的操作行为的解析能力。基于以上能力，为1号店、国美在线（协议签署中）提供客户及市场洞察分析专题报告，实现数据价值的首次变现3.2辽宁省—数据变现辽宁省情况-数据变现应用喜好用户、都市白领用户、购物喜好用户总计25231户，占1号店用户总量的40.63%辽宁1号店用户多为都市白领，喜好新鲜的手机应用和购物1号店在网移动互联网用户分群分析辽宁1号店用户兴趣爱好广泛，喜好视频、新闻、旅游和软件类用户相对较多可以根据用户以上特征进行有针对性营销1号店在网用户移动互联网特征分析流失用户比较关注的电商为京东、美团、蘑菇街，其中关注京东的用户占54%访问京东用户主要关注的商品为手机、服饰内衣、电脑1号店流失用户数据分析TOP10用户比较关注的电商为美团关注美团的用户比较关注美食、休闲娱乐、酒店在网TOP10用户数据分析与1号店合作，从多维度分析在网、流失用户特征和喜好等相关信息，为电商企业在同类型企业竞争中提供数据参考，实现在大数据商业模式下的价值变现。3.2辽宁省—数据变现3.2福建省-大数据建设思路采用开源和商业化产品，兼顾建网成本和快速形成生产能力两个方面，构建混搭架构(传统DW+MPP+Hadoop)的大数据平台，通过多租户模式、引入流处理技术，打造企业级的数据管理、应用开发平台集中建设统一平台推进跨域数据整合实现跨域数据整合是“大数据”运营的关键：对内：充分整合了B、O、M三域数据，特别是实现了网络侧全量数据整合（包括Gn口、TD-LTE、Mc口、SGs等数据），不仅实现了三域基础数据的充分共享，并且在构建企业级共享层数据方面也取得重要进展对外：尝试拓展了外部的数据，包括政府部门、外部企业以及互联网数据，如福建高速、厦门航空、福建企业征信平台、万达等3.2福建省-数据变现福建公司紧紧围绕“两大目标”（对内促进经营管理效益提升；对外开展跨行业合作，输出大数据价值），大力推动大数据深度运营。已打通市场营销、网络运维、财务管理以及跨业合作四大通路，并推出了一系列有价值、有实效的应用实践，促进了大数据价值变现3.2福建省-大数据应用-用户画像基于全省每日1百亿次的用户消费行为及网络轨迹数据，对全网用户多维画像，用户画像，可提供最近营业厅、上网习惯、APP使用偏好等8大类、42个细项信息，支撑业务营销大数据中心通过与各专业系统实现双向数据及信息持续往复交互，持续挖掘和传递数据中智慧信息，提升数据资产在企业内部运营管理与市场运营工作中的价值贡献。企业数据中心网元系统客服系统电子渠道业务平台CRMBOSS专业分析应用专业分析应用专业分析应用专业分析应用专业分析应用专业分析应用数据往复流转数据往复流转专业系统提供基础数据企业数据中心汇聚整合跨域数据，并实施开放共享专业系统实施专业领域大数据分析应用，并进一步开放分析结果数据各专业系统向企业数据中心提供有价值数据，实现公司层面的数据汇聚；企业数据中心整合跨域数据，并将融合加工后的跨域数据面向各专业系统开放共享；各专业系统开展专业数据分析应用，并将应用中产生的有价值数据再次提供给企业数据中心。3.3移动大数据的发展策略大数据中心的数据交互流程大数据应用平台大数据应用高价值数据池存储层分布式文件系统计算层分布式数据库实时系统B域采集O域数据M域数据根据集团公司建议和他省建设情况，大数据架构可分为数据层和应用层两层架构应用层数据层经分系统数据层分布式文件系统分布式数据库实时系统B域采集网管数据共享能力平台分布式文件系统分布式数据库实时系统O域采集重构后管信数据平台云化管信系统M域采集现有各系统的数据层情况构建方式完全新建构建方式融合、独立、新建3.3移动大数据的发展策略3.3移动大数据的发展策略方案采集能力存储能力计算能力应用能力优缺点对比方案一：融合以经分系统或网管系统为依托建设大数据中心其它IT系统各自采集处理后传往经分或网管系统经分或网管系统数据层的存储层分布式文件系统统一提供大数据基础数据存储经分或网管系统数据层的分布式数据库统一提供大数据计算和模型计算，向大数据中心提供数据服务大数据中心建设高价值数据池提供数据分析和应用建设优点：充分利用经分或网管系统投资，保守发展，观望各省大数据发展情况缺陷：不能快速开发和响应迭代应用。且业支缺乏处理和分析O域数据能力方案二：独立仅建设大数据应用层，各系统为大数据中心提供数据服务经分、网管与管信各自采集处理自身原始数据经分、网管与管信各自存储数据原始数据，大数据中心不存储基础数据经分、网管与管信各自计算各自汇总数据（高价值数据、标签数据）统一向大数据中心提供，并向大数据中心提供计算能力大数据中心建设高价值数据池进行数据分析和应用建设优点：各系统统一规划，分散建设，各司其职，各自承担应用建设职能缺陷：没有组织机构作为数据管理者去管控企业数据及大数据应用方案三：新建新建完整大数据中心，整合各域数据，其他中心仅建设应用经分、网管与管信各自采集，数据中心统一介入管理。大数据中心统一存储基础数据大数据构建计算能力，并向应用提供数据服务大数据中心建设高价值数据池进行数据分析和应用建设优点：融合数据、融合IT资源缺陷：各域整合从技术、数据和管理上都有很大挑战如何将现有各应用系统的数据层利用为大数据平台数据层所用，目前的思考分为三种方案，具体方案的优缺点情况如下：3.3移动大数据的发展策略

中期

面向内外的大数据服务面向公司内外提供各类基础数据、自助分析服务

远期

大数据分析系统一体化统一提供数据服务、扩展服务能力

初期

统一数据存储及基础服务汇聚公司各专业域数据，通过资源池搭建大数据平台由易到难，稳步推进：初期以数据整合为主，逐步面向内外提供数据服务。管控架构，同步推进：同步推动数据标准化和组织机构变革，为大数据共享平台商用奠定基础。自主掌控，能力内化：逐步培养自研团队，构建研发运营一体化能力。大数据应用发展策略

大数据平台规划搭建大数据平台提升数据运营能力能力持续提升提供数据增值服务对现有系统进行梳理•

规划大数据平台架构•

……•

Hadoop计算平台

搭建•

统一数据采集

（ETL）•

数据共享服务•

跨域数据融合•

规范数据字典•

流式数据处理•

……形成对内服务能力：•

客户模型建设•

客户超细分、微营销•

生命周期行为分析•

个性化推荐精准营销•

用户感知分析•

网络服务优化•

……形成对外产品和服务：•

数据运营平台建设•

创新商业模式•

数据产品开发•

数字广告合作•

行业报告开放•

……构建社会数据共享能力：•

数字化生产•

数字化物流•

数据社会化开放•

数字生态圈建设•

……