全渠道零售云平台解决方案

全渠道零售云平台解决方案全渠道零售云平台解决方案1目录第一部分零售大数据概述第二部分大数据与新零售第三部分大数据应用实践第四部分大数据架构实践目录第一部分零售大数据概述第二部分大数据与新零售第三部分大数2行业背景行业背景3行业背景行业背景4行业背景行业背景5行业背景行业背景6“全渠道零售”定义

全渠道零售是指传统大中型商业集团百货、购物中心、大型超市等业态，通过移动互联网、云计算、大数据等能力，为商超构造线上线下融合双店格局，助力传统零售业向全渠道转型，并协助其逐步重构供应链，并聚合其周边商圈，形成新型的商超O2O模式。采用大数据精准营销提升商场用户体验统一支付服务O2O整合大数据，描绘用户画像，精准营销统一支付能力、融合智能终端促销活动、会员营销、商品展现WIFI定位、智能停车、智能导购传统零售业向O2O转型主要手段“全渠道零售”定义全渠道零售是指传统大中型商业7“全渠道零售”核心理念"逛"体验

大数据导流

综合分析用户线上、线下行为，交易行为等，为商超经营提供辅助，并进行精准营销。通过丰富的线上营销活动形式及互联网营销工具吸引用户关注，并转化成线下的交易。为线下实体店导流

提升“逛”体验

将无线WIFI，室内导航，智能停车融入客户端，为客户提供围绕商场消费的逛的能力。

大数据分析优惠券活动分享无线WIFI智能停车导购大屏红包营销活动商品导购品牌展示店铺活动限时特卖秒杀团购“全渠道零售”核心理念"逛"体验大数据导流综合分析用8全渠道零售重构零售模式全渠道零售重构零售模式9“全渠道零售”实现思路帮商超打造一个覆盖“吃喝玩乐购”的O2O平台以线上红包、限时特卖、组合团购等方式吸引发展用户并通过WIFI服务深度锁定线下用户。打造专属O2O平台提供统一支付能力，实现“云端收银”新型的管理终端集成商户进销存和互联网营销工具（红包、优惠券、积分）统一支付能力扩展会员卡的线上电子化，通过线上营销模式吸引用户主动储值和消费将线上快速消费的能力带到线下，打造O2O会员卡支付实现电子会员卡通过采集和聚合客户端、WIFI热点、视频客流分析、POS交易数据、停车导航、电子会员卡消费等数据，并进行综合的大数据分析。采用大数据分析1234“全渠道零售”实现思路帮商超打造一个覆盖“吃喝玩乐购”的O210核心业务能力“全渠道零售”核心业务能力智能POS智能停车精准营销分析电子会员卡/卡包支付无线WIFI定位商场微信公众平台/APP营销服务平台商场服务平台会员管理平台综合支付平台商超综合管理后台商超服务能力核心业务能力“全渠道零售”核心业务能力智能POS智能停车精11精准营销分析用户下载参与用户线上行为收集用户信息用户基本信息用户交易信息POS端交易….信息传播渠道团购福利券提货券代金券满减折扣券抵扣券秒杀实物券营销活动方式用户参与度用户使用率营销优化短信码验证二维码验证NFC卡验证核销方式效果分析用户WIFI定位分析用户行为客户端PUSH用户购买商品排行用户标签用户浏览次数用户购买商品数量用户行为分析用户常逛线下店铺二维码扫描短信群发微信公众平台精准营销分析用户下用户线上行为收集用户信息用户基本信息用户交12大数据时代的背景人类利用数字认识和改造世界由来已久（数学）。但随着互联网、信息系统及电子设备的发展，数据的产生在不断加快，利用数据的方式也推陈出新。“大数据”实质上是人类利用数字认识和改造世界所达到的一个新的阶段。各行各业每时每刻都在生成海量数据基于大数据的应用正改变着我们的工作和生活大数据时代的背景人类利用数字认识和改造世界由来已久（数学）。13什么是大数据？•

统计表明，人类文明至今获得的全部数据，90%在过去2年内产生，标志着数字化时代全面来临。而电子商务、社交网络、传感器等还在源源不断的产生数据，预计到2020年，全球数据规模将会达到今天的44倍。多样性（Variety）•

来源多：企业内部、互联网、物联网等高速度（Velocity）•

生成速度快：实时性，必须快速识别和快速响应才能适应业务需求大容量（Volume）•

数据体量大：对计算和存储的要求，从TB级别，跃升到PB级别高价值（Value）•

浪里淘沙却又弥足珍贵，虽然价值密度较低，但是价值点比较高“大数据”实质上是人类利用数字认识和改造世界所达到的一个新的阶段，它具备大容量、高速度、多样性和高价值四个特点。•

格式多：包括音频、图片等非结构化数据什么是大数据？•统计表明，人类文明至今获得的全部数据，914大数据时代带来的三个理念转变1、样本=总体在大数据时代，可以分析更多的数据，

甚至可以处理和某个特别现象相关的

所有数据，而不再依赖于随机采样。传统数据时代大数据时代高性能数字技术的发展突破了这种限制。与局限在小数据范围相比，使用一切数据为我们带来了更高的精确性，也让我们看到了一些以前无法发现的细节——大数据让我们更清楚地看到了样本无法揭示的细节信息。2、容忍混杂性研究数据如此之多，以至于我们不再执着于追求精确度。3、因果到相关不再热衷于寻找因果关系，而是转而

寻找事物之间的相关关系。19

世纪以来，当面临大量数据时，都依赖于采样分析。但是采样分析是信息缺乏和信息流通受限制的模拟数据时代的产物。传统数据处理追求“精确度”，这种思维方式适用于掌握“小数据量”的情况，因为需要分析的数据很少，所以我们必须尽可能精准

地量化我们的记录。寻找因果关系是人类长久以来的习惯。即使确定因果关系很困难而且用途不大，人类还是习惯性

地寻找缘由。大数据纷繁多样，优劣掺杂，分布广泛。拥有了大数据，我们不再需要对一个现象刨根究底，只要掌握大体的发展方向即可,适当忽略微观层面上的精确度会让我们在宏观层面拥有更好的洞察力。在大数据时代，我们无须再紧盯事物之间的因果关系，不再把分析建立在早已设立的假设的基础之上。而应该寻找事物之间的相关关系，让大数据告诉我们“是什么”而不是“为什么”。大数据时代带来的三个理念转变1、样本=总体在大数据时代，可15传统零售数据现状传统零售数据现状16大数据对行业的影响中信银行利用互联网地理数据，提升广告精准度，实现与第三方的双赢阿里小微金融基于电商平台数据，打造信用体系，实现互联网金融创新阿里巴巴通过自有生态圈内的数以亿计个人用户和中小企业用户的交易数据，通过与第三方金融机构的各类型金融数据

的数据交换和数据融合，打造了完善的互联网个人用户及中小企业用户的信用体系，

并在此基础上推出了大量颠覆传统金融行业的互联网金融产品、服务。中信银行与高德地图的合作，基于高德地图的互联网开放API，获取商家公开数据和地理位置，与中信银行自有客户地址数据进行匹配，在中信银行的邮寄账单

和群发短信中，提供个性化的特约商户广告服务和刷卡折扣信息，实现第三方商家和自身金融业务的双赢。大数据对行业的影响中信银行利用互联网地理数据，提升广告精准度17大数据对公众的影响一些领先的互联网公司利用自身的大数据优势，结合社会发展热点和关注话题，面向社会公众发布了各种大数据应用和指数，不但展现了自身的大数据能力，也宣扬了企业责任，形成良好的社会影响和产业影响。Google公司利用用户的搜索关键字，进行流感和登革热的传播预测。淘宝利用电子商务平台上的搜索和购买行为，进行产品分析和市场细分。大数据对公众的影响一些领先的互联网公司利用自身的大数据优势，18大数据带来了思维的创新和技术的革新信息技术革新思维模式创新企业数据文化变革与数据竞争力重塑数据获取网页埋点、网络爬虫、传感器技术分析算法社会网络、自然语言处理、时序分析、逻辑回归信息展现GIS地图、轨迹图、热力图、标签云图、辐射图处理架构Hadoop分布式计算平台、MPP数据库、STREAM实时计算管理思维决策思维商业思维•

更加重视各类事物的关联关系，不仅仅局限于因果关系•

更加重视快速预测，立即采取行动而不是等一个精确的结论•

数据使流程更加透明，有助于推动管理的扁平化，提升管理效率•

数据使视野更为全局，有助于合理调配企业资源，提升管理效益•

数据可以是一种产品，满足客户的信息消费需求，换取商业利润•

数据可以是一种服务，以数据能力汇聚商业资源，形成竞争优势大数据的热潮带来了创新的思维模式和革新的信息技术，通过解放生产者的思想，升级生产技术，改变生产方式，进而释放了生产力。大数据带来了思维的创新和技术的革新信息技术革新思19大数据解决思路大数据解决思路20目录第一部分零售大数据概述第二部分大数据与新零售第三部分大数据应用实践第四部分大数据架构实践目录第一部分零售大数据概述第二部分大数据与新零售第三部分大数21较之其他企业，新零售具备更加丰富的大数据资源网络承载企业管理通信话单数据（语音话单、短彩话单、上网话单…）渠道接触数据（网厅、掌厅、短厅等电子渠道的访问路径…）行业应用数据（MAS/ADC、物联网、校讯通、12580黄页…）自有业务数据（阅读、音乐、游戏等用户行为…）新型数据网页浏览数据（网页地址、网页内容、搜索关键词、内容分类、网址分类…）应用内容数据（应用名称、功能名称、应用内容、交互

对象、应用分类…）客户位置数据（运动轨迹、家庭地址、办公地、交通工具、区域通行速度…）网络资源数据（基站信息、热点信息、网元配置、设备性能日志、综合资源…）服务营销数据（投诉语音、主动维系、营销互动、市场调查…）企业收入数据（主营业务收入、投资收益、税费…）合作伙伴数据（银行支付、代理商、供货商、物流商、CP/SP…）运营成本数据（办公支出、薪酬、市场营销费用、网络运维费用…）运营管理数据（公文、邮件、审批流程、企业论坛…）新零售在BSS、OSS和MSS三域中都会产生丰富的数据资源，涵盖生产运营、企业管理和网络承载三方面。基于这些数据可以更深刻的认识客户。生产运营客户视图数据（姓名、年龄、性别、消费、积分、终端…）业务运营数据（订购记录、产品信息、订购渠道、…）传统数据企业资产数据（仓储信息、物资资源、物业资产…）较之其他企业，新零售具备更加丰富的大数据资源网络承载企业管理22新零售下大数据架构新零售下大数据架构23国外新零售基于大数据已经获得良好的效益MegaFon（俄罗斯新零售）

：

通过融合不同业务系统的数据，基于用户行为设计灵活的流量资费套餐改善客户体验，迅速拓展

市场份额拉升收入T-Mobile:社交媒体数据、CRM和计费系统中的交易数据进行融合，深度洞察客户，有效降低离网率流量运营客户保有客户服务与营销Vodafone：基于交际圈的浸入式客服和营销，迅速在欧洲市场建立了品牌第三方数据服务KDDI（日本新零售）：基于开放接口方式创新商业模式，拓展收入来源，成为日本在互联网服务领域增长最快的新零售国外新零售基于大数据已经获得良好的效益MegaFon（俄罗斯24新零售消费画像新零售消费画像25大数据是新零售适应市场环境变化的钥匙移动互联网时代，能够把握客户需求开发APP的应用商、设计优良客户体验的终端商和掌握客户接入管道的新零售，形成了三足鼎立的局面。谁掌握客户需求，谁就能占据主导地位。客户需求

的多样化，使得通信资产被管道化，而信息资产的价值凸显。客户需求通讯资产信息资产其他资产财务/客户…•

以满足人与人之间的通话为目的，客户主要的期望是话务质量，需求简单

而明确，新零售处于支配地位。• 是客户建立沟通联系的手段，直接满足客户的通讯消费需求，业务单一但技术、资金门槛较高，所以附加值高，

通讯资产的边际效益明显。•

以支撑和服务通讯主业的生产运营为目的，主要实现从订购、计费到收费等环节的信息处理，数据类型较为单

一，对客户需求的理解较为狭窄，局限在通信领域内。• 财务资产：行业大发展，依靠移动通信业务，积累了大量的财务资产。•

客户需求丰富多样，个性鲜明，以IT技术实现的各种应用满足了客户的需求，

使新零售趋于管道地位。•

是客户接入互联网的手段，不直接满足客户的信息消费需求，附加值低，边际效益明显低于语音时代，出现量收不匹

配，通讯资产快速贬值。•

由于丰富的应用，管道内积累了更多的客户信息，类型更为多样，内涵更为丰富，使深度洞察客户、掌握客户需求成

为可能，数据价值产生了质的变化，信息资产快速升值。• 财务资产：由于机制限制，无法利用财务资产进行有效投资来获取高额回报。语音时代移动互联网时代•

客户资产：依靠卓越的网络质量和客户服务，“拨号盘”上形成了绝对优势的客户规模，客户资产带来丰厚的回报。•

客户资产：优秀应用商和终端商依靠体验和免费服务，获取了同等或更大规模的客户资源，新零售客户资产出现快速贬值。大数据是新零售适应市场环境变化的钥匙移动互联网时代，能够把握26新零售大数据流程新零售大数据流程27大数据可以在新零售业务运营的各个方面发挥价值产品服务

个性化资费套餐

差异化贴心服务

定制化产品市场营销

基于社交网络、社交媒体、位置等信息的智能营销

流量经营、存量经营、集客经营、终端营销科学决策

数据驱动决策

可视化决策

战略情报分析网络优化

全程全网实时监控

智能网络规划客户洞察

360度视图

情感

交往圈数据外部化运用

服务社会公共事务

服务其他企业和行业大数据汇聚大数据转化大数据变现通过大数据汇聚、大数据转化和大数据变现三个环节的处理，挖掘大数据资产的价值，对内可以提升精确营销、精益管理和精准建设能力，对外可以提供丰富的信息数据产品服务，创造价值蓝海。大数据可以在新零售业务运营的各个方面发挥价值产品服务 个性28新零售未来新零售未来29目录第一部分第二部分大数据与新零售第三部分大数据应用实践第四部分大数据架构实践零售大数据概述目录第一部分第二部分大数据与新零售第三部分大数据应用实践第四30浙江移动在大数据上的探索和实践大数据汇聚大数据转化大数据变现•

引入五类网络数据，构建基础分析模型，奠定

大数据分析基础。• 通过大数据解析整合，还原真实客户行为；• 探索大数据客户细分，打造客户标签体系。•

围绕精确营销和精准建站，利用各种运营位渠道进行了一系列大数据场景应用实践。自2013年开始，浙江移动以经营分析系统为依托，围绕流量经营课题，在大数据价值挖掘的三个环节，开展了一系列的探索和实践。浙江移动在大数据上的探索和实践大数据汇聚大数据转化大数据变现31大数据汇聚：突破传统计费数据，引入5类网络数据，贯通OSS域与BSS域宽连-手机上网行为分析系统URL/WLAN/BPPP华为-DPI数据亚联-云化数据交换平台中创-信令数据AsterGPRS上网日志宽带上网日志位置信令WLAN上网日志DPI数据大数据汇聚：突破传统计费数据，引入5类网络数据，贯通OSS域32大数据汇聚：基于大数据汇聚构建基础分析模型——社交网络模型构建可视化社交网络模型通过各种交往记录（语音、短信）进行自关联，利用三角算法，以用户为中心刻画用户两两之间认识的关系，构成的三角型越多，交往圈越紧密构建可视化用户影响力指数利用群聚系数构建用户影响力指数，向量中心度表示该用户在社交网络中的重要程度。交往圈越大，交往对象越重要，该中心度越高社交网络应用有效社交圈无效社交圈客户维系挽留：特定群体识别及营销：产品和业务营销：社交网络变更识别及营销：高影响力客户流失预警、一人多卡客户识别和维系、离网客户识别和

赢回等等基于高影响力客户的产品和业务营销，例如终端营销、4G潜在用户识别营销等等利用社交网络改变识别生命周期阶段事件，例如用户上学、工作、成家等事件进行针对性营销家庭成员识别营销、集团客户识别营销、校园客户识别营销等特定群体用户识别营销在传统聚类频度分析基础上，通过详单自关联分析，构建社交网络模型，深入分析交往圈特征，得出群中成员的影响力，为用户维系挽留、离网预警、精确营销提供依据，提升客户价值。大数据汇聚：基于大数据汇聚构建基础分析模型——社交网络模型构33大数据汇聚：基于大数据汇聚构建基础分析模型——用户轨迹模型用户轨迹模型是对用户的轨迹数据（基站驻留）进行分析从而得到用户轨迹知识的模型，轨迹数据包括时间和空间的位置序列和位置点语义标注，为用户精确服务提供依据。变量选择模型输出用户轨迹应用• 用户移动轨迹特征刻画分析用户的驻留基站序列，刻画用户的移动轨迹特征，识别用户移动轨迹的频繁模式• 用户复杂路径模式匹配查找特定路径场景模式下的用户群，获取更多的关于该场景或该用户群的特征信息• 用户移动轨迹的可视化可视化的展示用户群的移动轨迹的变化，展示用户群的轨迹变化模式个体用户的频繁模式挖掘识别客户的生活习惯和兴趣爱好，支撑基于位置分析的客户洞察和营销基于位置的客户细分根据用户位置轨迹相似性对客户进行细分基站网络选址分析为网络可管理的科学选址奠定位置基础精确业务推荐用户位置轨迹与业务订购和使用关联性分析字段字段含义用户编号用户编号用户手机号码用户手机号码开始时间用户在该基站小区的开始时间时段用户在该基站小区的开始时间归属的时段基站驻留时间用户在该基站小区的驻留时长基站编码基站编码基站小区编码基站小区编码基站小区的经纬度基站小区的经纬度坐标，可用于计算任意两个基站小区的距离基站语义该基站小区的语义，比如是商场，地铁站，居民区等县市编码用户归属的县市地市编码用户归属的地市月份数据月份大数据汇聚：基于大数据汇聚构建基础分析模型——用户轨迹模型用34大数据转化：通过大数据整合分析，实现用户行为还原和客户细分在大数据引入的基础上，推进行为还原及客户细分等基础工作，奠定大数据运营的基础。行为还原•

通过大数据与传统数据的整合，逼真还原用户的完整行为习惯，实现客户、终端、位置、网络及内容可视；•

突破传统小型机+高端存储+关系型数据库技术架构，初步构建

Hadoop分布式平台实现内容数据的处理客户细分•

突破传统分析模式，采用超细分手段，围绕内容、应用、终端、网络、位置等新元素构建三级共1050个客户标签，实现客户的初步细分大数据转化：通过大数据整合分析，实现用户行为还原和客户细分在35客户的生活习惯：通过位置轨迹分析技术，可以发现客户群体的迁移规律，甚至个人的出行习惯，并预测比如周末是否出行大数据转化：完善跨域大数据整合分析，还原用户行为管道

数

据•

微博数据：客户的微博账号、关注对象、粉丝、

发布内容等。行业应用网关产生的数据，如：•

银行业网关数据：采集客户刷卡消费后，各银行回馈数据。•

投诉语音：采集客户通过10086进行投诉时的语音内容。渠道数据行业

数

据客户的社交圈子：通过社交网络技术，可以发现客户的互联网社交圈，得

到更为丰富的客户圈子信息客户的性格特征：通过语音识别、文本挖掘和情绪分析技术，可以通过投诉行为，得到客户的性格客户的消费能力：通过内容分析技术，可以发现客户刷卡消费的金额，频度等，得到客户的消费能力•

位置信令：从网络A口，采集客户全量的位置更新和变动数据大数

据基础

处理平

台数据引入数据解析客户无线接入时产生的数据，如：客户接触时产生的数据，如：引入覆盖管道、渠道和行业应用三类领域的数据，夯实大数据基础，并通过大数据与传统数据的跨域整合，还原用户的行为习惯，例如客户的社交圈子、生活习惯、性格特征、消费能力等，为

客户细分和标签体系构建打下坚实基础，支撑大数据运营。客户的生活习惯：以发现客户群体的迁移规律，甚至个人的出行习惯36大数据转化：持续丰富大数据客户标签体系通过引入新的大数据和大数据分析技术，横向拓展刻画客户的维度，提升客户标签的广度；纵向丰富原有维度的细致程度，提升客户标签的深度。客

户标

签消费能力ARPU•

通话收入•

上网收入•网上购物消费•银行刷卡消费•商铺、娱乐场所通信行为社会属性•家庭用户•校园用户•集团用户•意见领袖•医疗从业者•银行从业者•……社交行为•通信一度交往圈•上网流量•短信条数•六度空间行为•社交应用交往圈位置特征•通话位置•上网位置•住宅地•办公地•常驻地•购物商圈上网行为•

购物行为•

社交行为•

资讯行为•

社交行为•各类产品网上购物行为•产品网上价格•社交对象•社交内容终端特征PC/PAD使用行为PC/PAD品牌、型号•

手机终端机型、品牌•

换机周期性格情绪•乐观、抑郁•高兴、痛苦•开朗、内向•平静、激动新数据新技术交通出行•开车一族•公交出行•自行车•上下班线路管道数据行业数据渠道数据社交位置轨迹数据可视化大数据转化：持续丰富大数据客户标签体系通过引入新的大数据和大37大数据变现：探索大数据运营实践，支撑流量经营发展（1）围绕大数据开展场景创新，推动流量精确营销、精准建设等业务应用。精确营销•

利用大数据实时的特点，围绕位置、内容、异动进行基于用户行为时机捕获的营销场景设计，建立20多个流量精确营销模型，月流量包精确营销成功量超过100万，占公司新增流量包总量的20%以上•

利用大数据全面、多样的特点，打造基于用户上网行为的终端换机潜在用户模型，换机营销成功率超过8%，为传统方式的8倍嘉兴高倒流精准建设•

和嘉兴公司合作，基于位置、终端等大数据与传统用户数据的融合分析，精准定位潜在分流客户和分流区域，提出2000个基站优化建议，其TD分流比排名在较短时间内提升2位•

在WLAN热点建设上，分析用户特定场所驻留时长、高带宽应用使用、流量使用水平和通信消费能力四个方面数据，识别出全省300万WLAN潜在用户，提供1.9万个热点新建、2千个热点扩容和100个热点拆除等选址工作建议大数据变现：探索大数据运营实践，支撑流量经营发展（1）围绕大38大数据变现：探索大数据运营实践，支撑流量经营发展（2）23基于大数据实时、全面、多样的特点，构建基于位置、内容、异动等类型的13大流量精确营销模

型，其中8大模型已经投入实际应用，如基于内容搜索分析的终端潜在用户挖潜模型，营销成功率

达到8%，较传统方式提升8倍。•

利用大数据实时的特点，进行基于用户行为时机捕获的营销场景设计。类型营销场景描述位置触发在用户进入2G高负荷基站位置附近(200米)时刻推荐最近的WLAN网络在终端潜在换机用户进入营业厅卖场时刻推荐就近购买终端在用户驻留机场/车站驻留时刻推荐地图/导航/订票等商旅客户端软件内容触发在用户首次访问应用时推荐适配应用流量包在用户使用2G网络观看视频、下载软件时刻推荐3G网络和TD终端在用户访问起点等阅读网站时刻推荐手机阅读等自有业务网站在用户登录手机阅读、WLAN及宽带portal时刻推荐流量业务异动触发流量接近阀值、超出使用推荐流量包及加油包在用户访问网页出错时导到139内容推荐页面•

利用大数据全面、多样的特点，进行基于用户访问内容挖掘的营销场景设计。类型营销场景描述搜索分析通过百度搜索过iPhone、S4等终端关键词的用户（80%会在三周内产生换机行为）推荐同等三星高端TD智能机。内容分析针对5月18日王力宏杭州黄龙体育场演唱会，提取访问网页含“王力宏”及王力宏代表名称的用户推荐音乐产品。网站分析针对中国雅虎邮箱于8月19日关停服务事件，通过互联网日志提取浏览雅虎邮箱的用户推荐139手机邮箱。应用分析针对近期使用过百度、高德等导航应用，或“非常准”等商旅应用的用户推荐自有手机导航应用。大数据变现：探索大数据运营实践，支撑流量经营发展（2）23基39大数据变现：探索大数据运营实践，支撑流量经营发展（3）基于网络、计费等跨域大数据的融合分析，推进TD分流和WLAN分流的提升。•

基于大数据分析：基于信令、基站数据，结合传统客户数据，综合运用GIS可视化分析和雷达图分析方法，围绕TD终端、流量水平和TD网络三个关键因素，进行全省对标分析，确定嘉兴短板。•

提出改进意见：利用针对网络覆盖短板，提出了3个批次共893个建站区域和1295个优化基站建议；针对终端销售短板优化外呼客户群和政策匹配，外呼成功率提高4pp嘉兴高倒流TD分流比提升（嘉兴）杭州江干区钱江新城•

潜在用户挖掘：通过分析用户特定场所驻留时长、高带宽要求应用使用、流量使用水平和通信消费能力等四个方面，识别出全省300万WLAN潜在用户。•

热点选址建议：基于潜在或活跃用户的位置分布，结合WLAN热点的建设情况，提供1.9万个热点新建、2千个热点扩容和100个热点拆除等选址工作建议。WLAN热点建设（全省）大数据变现：探索大数据运营实践，支撑流量经营发展（3）基于网40目录第一部分第二部分大数据与新零售第三部分大数据应用实践第四部分大数据架构实践零售大数据概述目录第一部分第二部分大数据与新零售第三部分大数据应用实践第四41浙江移动传统经营分析系统架构浙江移动传统经分系统主要包括数据仓库层和数据集市层，其中数据仓库层主要负责基础数据模型的处理和历史数据存储，数据集市层从数据仓库获取基础数据模型，并在此基础上支撑端到端应用。•

数据仓库层主要包括主仓库、应急库、历史库和互联网日志集群。•

主仓库负责原始数据的采集和处理，并将处理后的基础数据模型分发给各数据集市，同时承载一经、KPI、MIS等及时性较高的关键应用；应急库作为主仓库的业务级容灾系统，用于保障核心业务连续稳定运行；历史库存储主仓库历史数据，并用于长周期历史数据趋势分析；互联网日志集群主要负责互联网日志数据的预处理。• 主仓库、应急库、历史库采用小型机+高端SAN存储+传统DB2数据库构建；• 报表库、地市数据中心、创新平台、VGOP等数据集市采用小型机+高端SAN存储+传统Oracle数据库构建。浙江移动传统经营分析系统架构浙江移动传统经分系统主要包括数据42经营分析系统架构优化的业务背景及驱动力传统小型机+高端存储+传统关系型数据库的系统架构存在性能、成本、扩展性上的瓶颈，无法满

足大数据时代在低成本前提下在海量、多样的数据中高效地提取价值的要求。因此，大数据时代的经分系统架构亟需变革。与传统数据相比，网络数据在数据量上有质的变化并且还在快速增长（年均增长率约60%）传统计费话单新增网络数据与传统数据相比，网络数据有分析模式多样化（如路径分析、社交网络分析）、存储模式非结构化（如文本）的特征为了支撑流量经营，浙江移动在经分系统中引入了DPI、互联网日志和位置信令等多种网络数据源，这些网络数据具备大数据的典型特征，对现有经分系统架构带来了新的挑战。经营分析系统架构优化的业务背景及驱动力传统小型机+高端存储+43传统经营分析系统架构的问题分析•

系统处理能力不足：网络数据具有数据量大、增长快的特征（目前日均125亿条记录，3TB左右数据量，年

均增长率约60%）。现有经分系统采用传统的集中式架构（小型机+高端存储+DB2数据库），对海量数据

的处理能力不足。目前DPI数据（每日70亿条记录）的处理时间共需21个小时，无法满足流量经营业务需求（业务要求次日8点前看到前一天分析结果）；•

系统处理模式单一：现有经分系统采用传统关系型数据库DB2，主要通过SQL方式进行数据处理，不具备

MapReduce等分布式处理机制，对于诸如路径分析、社交网络分析存在性能瓶颈，无法满足大数据时代分析挖掘的业务需求；• 非结构化数据处理能力不足：传统关系型数据库采用二维表的方式存储预定义结构的数据，但是对文本（如互联网网页）等无法用二维结构描述的数据不能进行有效存储及处理，缺乏非结构化数据的处理能力；• 实时解析能力不足：当前网络数据采集延时较高，如DPI数据采集延时在1小时以上，互联网日志采集延时在30分钟，位置信令延时5分钟，无法满足实时营销的要求；网络数据仍以传统批量处理方式进行数据整

合，数据生成通常需要隔天，无法支持对实时营销事件的触发和协同要求。数据处理能力不足• 存储周期不足：目前经分历史库的容量已趋近极限，数据存储周期不足，无法满足长周期深度趋势分析的业务需求，比如计费详单数据要求存储12+1月，目前只保存3+1月；同时海量的网络历史数据无法纳入历史库。若采用传统方式扩容历史库，成本过于昂贵（相较于X86+本地盘的云架构，相同TPMC的小型机价格是X86平台价格的10倍，相同容量的高端存储+SAN网络价格是普通硬盘价格的20倍）。数据存储能力不足• 接口机存在网络和性能瓶颈：外围数据源与数据仓库，数据仓库与各数据集市之间的交换都依靠接口机，面对百亿级网络数据，1Gb带宽的接口机成为数据传输瓶颈，影响数据传输的及时性；• 系统之间数据交互混乱、效率低：目前仓库、集市部署了多套ETL工具和多种接口方式，同时存在集市直接从源系统抽取数据的情况，造成数据不一致的隐患，影响了数据的准确性。数据交换能力不足传统经营分析系统架构的问题分析•系统处理能力不足44大数据发展业务需求分析客户洞察及市场营销

360度视图

交往圈分析

基于社交网络、社交媒体、位置等信息的实时、智能营销

流量经营、存量经营、集客经

营、智慧家庭经营、智慧生活

经营客户服务数据外部化运用

服务社会公共事务

服务其他企业和行业企业管理

投诉及满意度分析

客户服务保障支撑

客户业务体验分析智能运维产品优化创新

个性化资费套餐

差异化贴心服务

定制化产品

业务创新

全程全网监控

IT系统运营管理

财务分析

成本分析

供应链运营分析

网络规划建设分析

内审专题分析大数据发展业务需求分析客户洞察及市场营销 360度视图数据45大数据发展技术需求分析主流大数据技术内存数据库应用分析：将数据存储在内存RAM中并进行计算和查询，充分发挥多核CPU的能力的数据库管理系统。内存计算未来尝试和流计算配合，用于状态和规则的存储，尝试用于缓存，优化客

户体验。流计算技术NoSQL技术Hadoop技术应用分析：Hadoop

在处理非结构数据和半结构数据上具备优势，尤其适合海量数据批处理等应用需求。随着Hadoop技术的成熟，基于Hadoop的即席查询技术

也逐渐崭露头角。比如仿照Dremel的开源项目Apache

Drill以及ClouderaImpala。MPP技术应用分析：

MPP数据库适合结构化数据的深度分析、复杂查询以及多变的自助分析类应用。无需像Hadoop一样需要定制开发，同时可以降低拥有成本。应用分析：Storm是一种开源的分布式实时计算系统，可以简单、高效、可靠地处理大量的数据流。Spark

Streaming是基于Spark衍生的开源流处理工具，以类似批处理方式来处理这部分小数据。应用分析：

NoSQL抛弃了关系数据库复杂的关系操作、事务处理等功能，仅提供

简单的键值对(Key,Value)数据的存储与查询，换取高扩展性和高性能。例如

HBase和Cassendra等。对信息技术部大数据平台提出的技术要求海量数据存储1.非结构化及海量数据处理3.海量数据的一致性，分布式事务管理能力2.低成本的PB级数据存储外服务的需求，多种技术并存实时大数据分析1.实时数据展现，实时分析

2.流计算能力1.多租户能力，在存储、计算、分析层实现资源隔离，提供云服务2.资源虚拟化，统一存储，统一管理云化能力数据开放1.分析结果对外部系统开放数据能力，发掘数据价值2.地理位置数据分析报告开放能力BOM模型融合1.数据质量管理和数据资产管理2.BSS，OSS，MSS三域融合数据模型平台

技

术

要

求任何一种单一技术都能以满足大数据采集、存储、处理和对才是发展趋势，即采用“混搭”架构大数据发展技术需求分析主流大数据技术内存数据库流计算技术Ha46浙江移动大数据技术架构数据处理技术：主要利用MPP数据库（NewSQL）进行数据处理，并向Hadoop逐步演进流处理技术：采用分布式实时流计算框架，实现流数据的实时处理数据汇聚技术：利用分布式技术（如Hadoop）采集、汇聚基础数据，

并实现对非结构化数据进行预处理数据展现技术：通过多维数据库进行实时多维度数据展现，如饼图、直方图、雷达图、气泡图，折线图、GIS地图、轨迹图、热力图、标签云图、辐射图、传统的报表、统计图和趋势图等数据分析技术：通过数据挖掘技术进行数据分析，支持关联规则、聚类分析、分类算法等传统数据挖掘功能，同时具备关系分析、时序分析、自然语言解析（分词）等多样化大数据分析功能互联网DPI半/非结构化数据ERPBOSSCRM客服网元设备终端配置信息业务平台结构化数据经分系统访问门户指标应用报表应用主题分析专题分析临时需求云化数据交换平台（Hadoop）DBAAS（数据库多租户服务）云化数据

交换平台主数据仓库传统结构化数据处理及承载基础应

用海量多结构化数据的处理及专题类

应用大数据分析平台云化历史库历史数据存储及长周期趋势分析类

应用信令流处理引擎统一营销管理平台SAAS服务开放DAAS数据开放服务信息总线营销

据渠道 展现数据开

放数数据汇聚数据处

理数据分析数据开放技术：SAAS：以服务形式向客户提供分析结果，例如自助分析报表DAAS：开发统一的数据访问组件，屏蔽各种数据库的差异，对外提供统一的数据开放服务浙江移动大数据技术架构数据处理技术：数据汇聚技术：利用分布47浙江移动大数据应用架构支撑外部系统接入层云化数据交换平台云化数据交换平台应用层基础分析应用挖掘分析应用自助分析应用(准)实时分析应用BSS域数据源OSS域数据源MSS域数据源外部数据业务平台数据10111111服务层

数据封装

基础功能

应用组装配置

展现层 门户

APP系统预警应用运营库稽核平台帐详单平台云化历史库经营数据中心主仓库

VGOP库大数据分析平台运营数据中心历史数据中心营销数据中心开放数据中心标签库管理中心统一运维数据安全数据质量数据资产数据层内部开放平台外部开放平台近线库运营管理多租户模式业务支撑经营分析管理支撑实时处理平台数据开放应用DMZD

M

对外服务支撑

Z营销库广告• 基于云化数据交换平台统一采集接入各域大数据，并进行标准化数据管理和数据处理、交互；• 基于MPP、Hadoop、oracle

exdata等大数据技术，构建运营数据中心、历史数据中心、经营数据中心+营销数据中心+开放数据中心等三个层次五个中心混搭技术架构的大数据云平台；实现面向支撑4大系统域的多租户模式平台接入能力；• 构建能力服务层，面向各种对外数据服务需求，对数据进行封装，提供相关服务能力；• 基于应用中心的分析类、预警类、数据开发类等应用，为支撑系统门户、支撑系统APP和支持外部系统提供服务支撑能力。浙江移动大数据应用架构支撑外部系统接入层云化数据交换平台云化48标签库采用Oracle

Exadata构建• 与传统的关系型数据库相比，Exadata在Oracle

RAC架构上通过引入分布式存储技术，在原有高可用性和可维护性的基础上，大幅提升了性能和可扩展性，可以支持OLAP和OLTP混合场景；• 标签库需要支撑OLTP和OLAP混合负载场景，既包括标签生成过程中的复杂关联汇总，也包括标签的高并发自助查询、以及包含增删改操作的自定义标签场景，因此适合采用Exadata平台构建标签库。标签库采用OracleExadata构建• 与传统的关系型49Oracle

Exadata的两大重要特性：Flash

Cache和Smart

Scan•Smart

Scan技术是Exadata面向DW负载最重要的特色技术，是Exadata最重要的一个功能，它的作用就是把SQL放在每个storage

server上去运行，每个storage

server只返回符合条件的数据给数据库，这样就极大的降低了数据库服

务器的负载和网络流量，并充分利用了storage

server的计

算资源和IO资源；在使用Smart

Scan时，每个storage

server返回给DB

Server的是结果集，而不再是传统的

Block，DBServer完成结果集的处理，并返回给客户端；Smart

Scan包含三个主要设计目标：•减少从storage

server传送给DB

server的数据量减少在DB

server的CPU使用减少在storage

server的磁盘访问时间•Flash

Cache是独立于磁盘的高速存储器结构，可以缓存频繁访问的数据块对象，如表和索引块、查询结果等，最适合“一次写入，多次读取”操作；Flash

Cache具备以下重要特点：

可以存储压缩和未压缩的数据；•

允许用户手动将表或者索引Cache到Flash卡中；Flash

Cache是完全自动管理的，Exadata会根据数据的访问情况，决定哪些数据放在Flash

Cache中；不能直接将数据加载至Flash

cache

中，所有的数据都是先被写到磁盘，再根据数据

访问的频繁情况读入到Flash

Cache中OracleExadata的两大重要特性：FlashCa50利用Oracle

12C的多租户架构，构建内部开放平台• Oracle

12C的多租户架构，将Oracle数据库作为一个可以向多个租户提供数据库服务的容器数据库（container

database简称CDB），在这个CDB中可以有零、一或者多个由用户自己创建的可插拔数据库（pluggable

databases简称PDB）；• 内部开放平台利用Oracle数据库多租户架构，开发统一的数据访问组件，屏蔽大数据中心各种数据库的差异，向地市公司提供统一的数据开放服务，实现数据共享。CDB主要用来作为数据库实例，它包含数据库操作、元数据和函数；

在CDB中的对象都被称为容器（container），每一个CDB创建完成之后，都会包括根容器和PDB：• 根容器（root

container）：每一个CDB中有且只有一个根容器，用于存储Oracle数据库自带的元数据和整个CDB中的公共用户，例如数据库创建之后的DBMS包、数据字典定义和SYS、SYSTEM用户存储于根容器中；•

PDB：PDB是用户数据库，存储了应用的数据、实现业务逻辑的过程和函

数，支撑用户的各类型应用；PDB能够插入到CDB当中，一个CDB中最多可以插入252个PDB。多租户功能主要优势功能说明降低建设成本每台服务器可以运行更多应用程序，提高了数据库利用率，降低了成本提高敏捷程度通过“可插拔性”实现数据的移植和复制，借助

RAC实现可伸缩性和安全性运维管理简便将多个数据库作为一个进行统一管理，可以加快数据库的部署、升级和维护利用Oracle12C的多租户架构，构建内部开放平台• O51传统数据……台 台云化数据交换平台（Hadoop）AC云化数据交换平台（Hadoop）MISBOSSCRM业务平台DPI

互联网网络类数据信令……数据集 地市数据中心 创新平台市报表库前台库 数据挖掘平台标签库ESOPVGOPOracle平台与Hadoop平台的数据交互A. 来自CRM、BOSS等OLTP系统Oracle数据库的数据，以及网络类数据文件，以文件接口的方式，加载至分布式的Hadoop云化数据交换平台上，进行数据的清洗、转换工作，形成DWD基础层数据模型；B. 云化数据交换平台的基础层数据模型同步至主数据仓库、MPP大数据分析平台上，进行数据汇总和挖掘建模，生成DW汇总层和ST共享层数据模型；C. 主数据仓库、大数据分析平台的结果数据导出至Hadoop平台上，按地市进行拆分或者进行其它数据转换，以文件接口多加载的方式分发给Oracle标签库等数据集市，支撑前端应用。主数据仓库企业运营智能结构化数据分析云化历史库历史数据存储趋势分析预测大数据分析平台海量多结构化数据的分布式处理分析B云化数据交换平云化数据交换平传统数据……台 台CMISBOSSCRM业务平台DPI 互联52China

Mobile

Group

Zhejiang

Co.,

Ltd.Thanks

For

Your

Time!ChinaMobileGroupZhejiangCo53•

安全管理•

业务流程•

管理流程•

竞品分析•

产品优化•

产品创新•

营销支撑•

规划咨询•

舆情热点•

社会规律•

客户洞察•

营销策划•

营销执行•

透明消费•

客户关怀•

投诉响应•

信用评估大数据应用场景拓展大数据应用——创新探索大数据智慧运营场景围绕市场营销、客户服务、管理决策、产品设计、第三方服务和公众服务等六大方向，拓展大数据应用场景，提升企业运营效率，创造企业新的利润点。精炼产品第三方服务公众服务精确营销精细服务精益管理•安全管理•竞品分析•营销支撑•舆情热点•客户洞察54深入挖掘大数据智慧运营场景

–

精确营销将大数据与传统方式相结合，深化对市场、客户的洞察能力，通过资源与需求的合理匹配，实现营销管理方面的有效整合，促进运营效能提升。全面洞察信息提升运营效能强化执行管控市场监控客户洞察营销策划营销配置营销执行洞察阶段评估管理

准备阶段

执行评估

＋＋＋＋＋＋•他网新零售终端、套餐、业务关注度•同类套餐、产品分析比较•衣食住行、娱乐、工作等全方位需求•外部合作方案决策•构建情感、服务、产品融合等多种维系手段和方案•客户位置、关键时刻的实时策略•产品资费融合、渠道转型、服务匹配•基于客户实时状态的多波次营销•个性化、场景化的精细微营销•从客户互联网评价情况等方面进行更加全面的分析•强化过程控制与后续活动信息决策互联网行为维度的引入大数据决策支持信息基于关键时机的实时策略配置多渠道协同舆情监控强化事中控制市场环境分析客户异动业务流失预警模型通信消费促销敏感度业务偏好话费维系方案终端维系方案资源投入测算产品配置资费配置营销审批批量式下发静态营销传统执行渠道响应率分析活跃度分析事后控制深入挖掘大数据智