版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
大数据时代的大机遇大数据时代的大机遇目录大数据蕴含大价值华为大数据解决方案介绍大数据平台建设探讨目录大数据蕴含大价值大数据定义广义大数据:是物理世界到数字世界的映射和提炼,通过发现其中的数据特征和规律,最终实现提升人们生活质量、提高生产效率的目的;狭义大数据:是指围绕着海量数据的智能存储、智能挖掘和智能分析;由于数据量过于庞大,在同样的约束条件下(性能和成本),使用传统的IT技术无法完成数据的管理和分析满足4V(Volume、Variety、Velocity、Value,即容量大、种类多、流量快、价值高)指标的数据称为大数据大数据是指难以实现存储、搜索、共享、可视化和分析的大型数据集大数据定义广义大数据:是物理世界到数字世界的映射和提炼,通过数据,已经渗透到每一个行业和业务领域,洞见本质、预测趋势、指引未来是BigData时代的核心用未来牵引现在,用现在保证未来!数据,已经渗透到每一个行业和业务领域,用未来牵引现在,用现在运营商需要依据大数据发展趋势进行战略选择以数据来源和数据用途两个维度来看,大数据会经历三个阶段:从自发的利用内生数据解决问题,到基于数据的应用商业化,再到进入数据共享交易时代。数据用途(提供者角度)数据来源(使用者角度)BigData-R数据是资源。依托主营业务的数据进行整合,衍生出特定的商业数据应用。数据与业务强相关组合。BigData-C数据就是商品。通过规则开放市场,数据在不同企业和领域间被交换、处理和应用,形成数字经济商业生态环境。数据用于向外部客户提供服务数据分析结果用于解决自身业务问题从外界有偿获取需要的数据和服务自有资源和业务数据采集分析BigData-M数据是手段。利用自有的业务运营数据,进行汇集和分析,指导企业经营和管理。运营商需要依据大数据发展趋势进行战略选择以数据来源和数据用途新技术的大量涌现,运营商如何选择?内存分析流式计算IBMStreams、ApacheStormSAPHANA、OracleExalyticsMPP数据仓库NoSQL多维分析OracleEssbase、IBMCognos数据挖掘/预测分析文本分析Hadoop发行版Dremel、Spanner、Impala、EMCHAWQNewSQLCloudera、MapR、HortonworksHbase/Hive、Cassandra、MongoDBExadata、GP、Teradata、NetezzaSAS、SPSS、R、MahoutSplunk自然语言处理社交图谱分析Siri、IBMWatson媒体智能分析大数据技术栈Pregel、Neo4jVideosurf软硬一体机OracleExadata、IBMPuredata
小型机数据库分析多样智能化:智能决策从结构化数据分析向文本、语音视频媒体的智能分析、社交化图谱分析方向发展分析实时化:分析计算向自助式ad-hoc多维分析、实时内存分析、流式计算发展管理集中化:数据管理从数据仓库、Hadoop向支持海量数据集中化管理、交互式SQL查询的NewSQL发展软硬一体化:传统基础设施从小型机向软硬整合一体机方向发展数据治理Datastage大数据技术向海量、实时和智能发展。在实际的应用过程中按需采用。新技术的大量涌现,运营商如何选择?内存分析流式计算IBMS目前为止半数以上的运营商已经开始部署大数据,针对具体应用的方案占多数Source:InformaTelecoms&MediaN:240(Allbase)结论1
半数以上已经开始部署大数据,但是规模不一;结论二相比规划和部署端到端大数据方案,针对具体应用/目的的大数据方案占多数;目前为止半数以上的运营商已经开始部署大数据,针对具体应用的方TMF34个大数据分析应用场景企业管理欺诈管理业务流程优化市场营销网络优化客户体验网页浏览个性化推荐Checkout个性化推荐实时互动个性化推荐基于位置实时个性化推荐基于业务使用的实时个性化推荐基于价值的网络规划新企业用户订单影响分析基于策略的网络性能管理个性化的实时交互人工服务适时的客户接触关怀客户离网风险预测客户离网原因预测个性化的挽留营销活动挽留营销活动的效果评估网络故障检测和恢复基于价值的实时网络拥塞管理实时Wifi转移(四网协同)收入保障合作伙伴价值优化基于设备的实时个性化推荐基于互联网记录进行精准广告产品分析产品优化产品设计和开发产品引入分析数据货币化沉默用户(服务)主动关怀客户自服务渠道效率分析渠道和时间偏好分析客户体验差的时候主动关怀网络故障的时候主动关怀市场分析&监控客户对产品的购买概率分析TMF34个大数据分析应用场景企业管理欺诈管理业务流程优化华为大数据应用情况截止到2013年11月份,全球拓展86个大数据市场项目,其中39个交付中(11个已经商用)商业智能流量经营网络运维客户关怀大数据基础设施精准营销大数据分析和数据开放华为大数据应用情况截止到2013年11月份,全球拓展86个大11个商用项目简介(按正式商用时间先后排序)产品名称(Offering)项目名称项目描述商用时间SDP彩铃尼日利亚彩铃MTN主要是预测分析(流失率预测、订购行为预测)以及关联推荐营销,Smartminer用户分类分析能力2012年11月日志详单天津私有云提供超大容量100台节点的访问和管理能力
提供便捷的安装部署能力
提供高很高的吞吐量和高并发的业务访问2012年12月CBS巴林VIVOCBS项目用于AR/GL/Report等模块,实现模块间数据集成;提供产品配置、匹配、订购的规则引擎2013年6月SDP游戏基地SDP游戏基地(BDI)游戏基地:将分布式数据库Teastore中的数据同步到BI系统进行经分分析。要求每月全量同步一次,每天增量同步一次,同时同步的数据要按照客户的要求进行聚合。2013年8月CBS不丹TashiCBS项目用于AR/GL/Report等模块,实现模块间数据集成;提供产品配置、匹配、订购的规则引擎2013年10月eCommerce电子渠道河北移动(BDI)业务方目前已完成部分流程的配置,jdbc抽取、jdbc加载节点使用最多,数据库都是oracle。中间偶尔会有过滤等少量转换节点。正在和第三方讨论方案,已决定文本的处理。
调度方面存在三个:
1、分钟目前有5个分钟调度,1个1分钟调度,4个两分钟调度,大多数据量是1条,5个调度总共7条数据。
2、日大约15至20个。总数据量不超过100条。
3、月目前有3个,数据量和日调度一致,总数据量不超过100条。2013年10月RBT音乐平台菲律宾Smart项目BDI,SM,RTD,Hadoop共计4个组件。
新用户因其不存在用户评分记录,这个时候可以基于用户特性、标签通过业务规则来推荐,用户特性或标签本身可以来源于数据挖掘分析或者是数据钻取分析。2013年10月BI(一体化营销项目)山东移动一体化营销项目提供事件决策平台,引入实时和精确营销能力Hbase客户画像,RTD实时决策能力2013年11月VASCloudReport多米尼加(BDI)支持7个报表产品,合计100个左右的作业调度。报表接受系统定时(默认2-30分钟之间)采集生成的统计数据文件。部分话单包括和配置表关联衍生字段。
按一般消息400字节计算,具备单机2万/行的入库能力。支持单机和集群部署,集群一般场景是双机2013年11月HybirdVideo卡塔尔卡电(BDI)
提供BDI2013年11月SDP音乐基地四川移动音乐基地(BDI)四川移动音乐基地:将分布式数据库Teastore中的数据同步到BI系统进行经分分析。
每天增量同步一次,全量只同步一次,同时同步的数据要按照需求进行聚合。2013年11月11个商用项目简介(按正式商用时间先后排序)产品名称(Off中移动集团私有云/南方基地日志详单系统背景介绍:北方基地私有云和南方基地,为中移动集团的南北两大云计算基地,集中建设海量日志详单系统,用于集团各省公司共享式地使用Hadoop存储日志详单数据;系统规模为1xx节点,存储容量1.xPB业务描述:基于HDFS的清单数据存储服务。基于MR和Hive的清单数据统计分析服务。成功经验:系统2013年初成功上线商用,已经支撑上线的业务系统包括防骚扰电话、垃圾彩信,等等。数据查询服务层数据存储服务层数据接口和访问层日志详单数据存储系统逻辑功能视图中移动集团私有云/南方基地日志详单系统背景介绍:数据查询服务第11页菲律宾PLDT大数据存储ETL(Extract,Transfer,Loading)ProductAnalyticReportingInquiryDataWarehouseExadata(160T)BIHadoopStructureddataMPPUnstructureddataHuaweiBigDataSolutionLoadArchiveSimpleInquery&Analytic痛点诉求
如左图,机会1:A(结构化数据存储)+B(非结构化数据存储);机会2:ETL基础数据处理。提供的方案
硬件采用x86服务器,软件系统采用OI平台,提供A+B+C的整体解决方案,超出客户需求。空间和进展
一期已开始交付;二期需求主要是B和C,投资预算超$500万。
后续该大数据存储中心可作为IT网改中的核心部件,为上层各应用(BI/Report/CRM等)提供统一的数据接口和服务。IndicatorPOCResultRequirementQueryPerformance2-4sdelaywith300concurrentqueries10sLoadingPerformance83+MB/Swith
13nodes11MB/SExportPerformance135+MB/Swith
13nodes11MB/S需求驱动来源
随着MBB发展,用户上网数据暴增,DWH撑爆,话单查询需数十秒甚至分钟级。当前的存储服务器老旧,已无法扩容,急需新的存储解决方案。客户需求描述
对6个月以上的话单进行归档和简单查询,查询延时最长10秒;对非结构数据(如网络日志)海量存储查询。一期目标是结构化数据的存储,数据量规模300T。菲律宾PLDT大数据存储ETL(Extract,Tran山东移动综合分析系统与山东移动合作进行网络综合分析系统一期建设:完成了HADOOP+MPP的大数据架构的搭建;打通与Gn信令系统、综合资源系统、经分系统、流控系统、话务网管、数据网管、网优系统、拨测系统8个系统的接口;初步建立网络数据融合分析模型和指标体系;应用层数据仓库层数据源基础数据层
流控系统经营分析系统EOMS系统…Gn分析系统话务网管系统数据网管系统综合资源系统数据质量管理四网协同价值小区应用专题自定义分析HBaseM/RHiveHDFS山东移动综合分析系统与山东移动合作进行网络综合分析系统一期建互联网用户行为分析支撑个性化营销,提升营销效率用户上网行为实施案例:河南移动互联网分析系统黑龙江移动互联网分析系统广东联通精细化运营平台……互联网行为分析支撑个性化营销实施前情况实施后效果互联网用户行为分析支撑个性化营销,提升营销效率用户上网行为实借助互联网分析进行全内容智能分发全内容智能分发平台,功能建设方面已经实现全内容管理、渠道信息管理、个性化推荐管理和互联网渠道运营等模块,并构建了一个包含阅读、视频、音乐、游戏等栏目的手机版全内容聚合portal;内容方面已实现手机阅读、无线音乐、手机游戏、手机动漫等业务的内容数据接入,手机视频在12月初完成数据接入。
截止到11月26日,通过139导航小说栏目月推荐小说覆盖数达10568本,累计达14826本,累计访问用户数达152842个,成功点播用户数达58996个,共阅读4321101章节,月均阅读约217万章节,月均收入约19.53万元,预计全年可实现收入约234.36万元。借助互联网分析进行全内容智能分发全内容智能分发平台,功能建设某省精确营销系统案例Page16事件类型事件量级触发事件触发规则适合的营销活动业务/分析
事件500万+/天缴费办理事件客户到营业厅或代理商交话费推荐网上交话费送话费、手机支付网银交话费等优惠活动用户信息录入事件用户是某营销活动的目标客户通过BOSS双屏向营销员侧和用户侧推荐相应的营销活动信息,比如终端类营销活动、存话费送礼品营销活动短信营业厅接触事件用户发给短信营业厅的短信为特定指令进行关联产品推荐,比如订购来电提醒时向客户推荐短信回执、订购手机阅读时向客户推荐热门书籍、初次订购GPRS套餐时向客户推荐热门应用网厅、掌厅登录事件用户是某营销活动的目标客户在优惠活动专区醒目地展示特定营销活动………信令事件5亿+/天语音呼叫、接听事件拨打长途电话发生漫游通话拨打查号、订票类电话推荐长途12593、长途包推荐非常假期、两城一家推荐12580业务短信发送、接收事件与飞信用户短信往来收发特定短信网关的短信推荐短信套餐、飞信业务推荐自有替代业务或相关业务位置更新事件、位置切换事件处于机场、商业中心等特定区域处于漫游状态推荐WLAN业务、商家联盟等业务推荐手机阅读、手机导航等数据业务开机事件用户未订购来电提醒业务用户处于漫游状态推荐来电提醒业务推荐12580、移动气象站等业务………互联网事件(接入中)40亿+/天(估计)使用手机软件事件使用手机软件访问互联网推荐移动同类产品或业务搜索事件歌曲搜索、小说搜索时触发推荐相同类型的歌曲或小说音乐试听事件在音乐平台点击音乐试听推荐相同类型歌曲………某省精确营销系统案例Page16事件类型事件量级触发事件触与XX移动开展基于热线大数据挖掘的终端销售提升活动STEP1:定向抽取录音到语音分析引擎,作为重要数据输入STEP2:深入研究客户热线交互行为数据,输出换机关联强度信息STEP3:汇集热线大数据与BI标签信息,对典型换机用户进行聚类分析,区分不同购机驱动力用户群体STEP4:通过专业数据挖掘算法,计算输出用户终端兴趣指数STEP5:生成个性化手机选择过滤器,匹配出用户偏好终端机型STEP6:将用户购机兴趣指数、偏好等热线数据挖掘成果应用到在线呼入、外呼/直复营销实践支持30%录音结构化入库,语音识别率从35%提升到了80%文本分析及终端兴趣挖掘模型此次热线终端营销目标机型是低价智能机,从模型输出的34562名用户中匹配出6457人呼出量接通量接通率外呼成功率配送成功量配送成功率感兴趣量兴趣率6457231935.9%8.62%12462%48520.9%客服语音数据是最能体现客户真实需求、客户满意度的数据,通过语音数据的文本转换,可以达到数据价值的深入挖掘。文本分析和数据挖掘模型聚类分析;决策树分析;关联分析;…文本挖掘分析;与XX移动开展基于热线大数据挖掘的终端销售提升活动STEP1数据开放相关进展沃尔玛选择行业:大卖场开店目标区域:交通便利/居民区开店目标人群:中高收入/家庭主妇开店自定义自助辅助查看行业选择24小时人群流量曲线图选定区域人群偏好分布人群归属地查询不同区域人群对比分析…开店候选区域目前,沃尔玛采取的是人工蹲点方式进行采样分析;每个潜在新址花费约几万元江苏移动、湖北移动均对数据开放非常关注,当前湖北正在考虑进行实际系统落地。主要考虑“开店选址”:根据用户的选择的区域,以数据地图的形式展示该区域的人群特征和统计报表,为大卖场和专业连锁客户开店选址提供依据.数据开放相关进展沃尔玛选择行业:大卖场开店目标区域:开店目标运营商对大数据的需求总结大数据自助adhoc交互式分析(中国移动、中国联通、VDF)低成本的100PB级数据存储(中国移动、中国联通、VDF)海量数据的一致性,分布式事务管理能力(中国移动)海量数据存储实时数据展现(dashboard等),实时分析(中国移动、Mobily)CEP/流计算能力(中国移动、中国联通、VDF、Mobily)实时决策引擎(中国移动、中国联通、VDF、Mobily)实时大数据分析支持自然语言处理、网页/文本分析、社交图谱等数据分析(中国移动、中国联通)支持音视频等媒体数据智能分析,基于大数据的人工智能算法全面智能化分析结果对广告系统开放数据能力,发掘数据价值(湖北移动、广东联通)地理位置数据分析报告开放能力(湖北移动、广东联通)数据开放多租户能力,在存储、计算、分析层实现资源隔离,提供云服务(中国移动)资源虚拟化,统一存储,统一管理(中国移动)云化能力海量低成本清单库混合型存储Hadoop平台高性能文件系统分布式事务型存储存储&查询加速事件分析和决策Stream/CEP内存分析决策平台/AMStore计算能力加速StreamETL传统ETL云托管和开放云化多租户开放集成框架报表系统/BICPMOLAP引擎数据挖掘/SmartMiner数据智能加速实时决策非结构化数据分析/NLP媒体数据分析大数据中间件技术运营商对大数据的需求总结大数据自助adhoc交互式分析(中目录大数据蕴含大价值华为大数据解决方案介绍大数据平台建设探讨目录大数据蕴含大价值华为大数据上升为公司战略,持续投入南京:BDI/SmartMiner/RTD/IA(电软研发中心)深圳:Hadoop/AMStore(电软研发中心)印度研究所:Streaming(电软研发中心)Hadoop(电软研发中心)DataVisualization(中央软件院)美研所:GaussDB(高斯实验室)DataMining(诺亚实验室)MOLAP(电软研发中心)欧研所:SmartSwitch(电软研发中心)杭州:SmartStream(香农实验室)徐直军:大数据、云计算、社交网络、移动化是华为公司未来投入战略方向。大数据未来保持上千人规模重点投入。华为大数据上升为公司战略,持续投入南京:深圳:印度研究所:美华为大数据解决方案概览(内部视角)HardwareLayerPlatformLayerApplicationLayerBigDataserver(OSCA/ATAE3.0)BigDataStorage(Dsware/DiskArray)BigDataInfinibandBigDataHardwareAccelerator(FPGACompress/Filter/Process)BusinessConsultingServiceBusinessProcessOutsourcingResourceManagedServiceDataAssetTradeService(TBD)Real-timeDecisionNetworkdynamiccongestioncontrolReal-timerecommendationExperienceEnhancementPreciseMarketingImproveEfficiencyInnovativeBusinessBigDataAcquisition&Transformation
(BDI)BigDataStorage
(Hadoop/MPPDB/NOSQL)BigDataExploration(Ad-hoc/MOLAP)Real-timeStreamingAnalytics(CEP/RTD)BigDataVisualization(IA)BigDataMining(SmartMiner)PersonalizedrecommendationDetailedWeblogInquiryOfferingoptimizationPackagedesignforspecificOTTOperationVisualizationCentralizedCustomerProfileCapabilityexposureDataexposureBI/SOP/SmartPCC/SDP/UP/CRM/SmartCare/DaaSOceanInsightIDC/存储/服务器网络域实时网络用户行为数据运营域CRM主数据、详单、AR业务域用户签约和行为偏好数据第三方数据互联网用户行为数据流式数据处理非结构化数据处理实时计算与访问深度分析数据仓库创建个人家庭企业行业第三方运营商面向未来实时企业架构转型数据价值深度挖掘和应用数据资产新商业机会发掘华为大数据解决方案概览(内部视角)HardwarePlat端到端提供大数据解决方案(外部视角)聚焦技术分析平台和价值应用,构建开放、合作的生态环境端到端提供大数据解决方案(外部视角)聚焦技术分析平台和价值应大数据业务能力体系框架商业价值精细化运营(融合)客户洞察(深刻)客户全视图(全面)大数据运营(变革)商业价值拓展(创新)业务能力开放共享自动探索自动监控实时决策精准营销场景营销自助分析搜索分析智能决策数据模型客户终端位置体验产品接触内容合作……统一指标库(B、O、M域融合)交互分析数据可视化消费能力模型话务需求模型上网行为模型交往圈模型终端偏好模型位置轨迹模型社会身份模型渠道接触模型需求变化预测客户群微分内容需求偏好健康度分析生命周期管理离网倾向预测敏感度分析行为习惯分析资源效益评估数据开放客户体验提升多波次营销产品交叉销售价值向上销售多渠道联动位置信息经营社交信息经营客户知识经营产品实时决策精准实时营销实时满意度维系资源效率优化反欺诈反骚扰价值提升能力提升应用模型与场景产业链服务分析过程可视化分析结论可视化大数据业务能力体系框架商业价值精细化运营(融合)客户洞察客户
数据开放当前聚焦的应用场景精准营销客户满意度维系产品优化资源优化DecisionOperation内容应用推荐基于业务使用的实时个性化推荐基于位置实时个性化推荐客户对产品的购买概率分析市场监控NPS分析个性化的挽留营销活动客户体验差的时候主动关怀用户流量详单查询渠道和时间偏好分析基于客户价值的网络规划基于客户价值的实时网络拥塞管理基于用户行为的网络资源投放异动客户资费归位基于信息热点的资费单元设计实时业务监控广告数据开放区域价值服务数据管理平台精准实时营销客户满意度维系产品优化资源优化策略数据开放订购率可达传统群发的10倍使营销上市周期从9天缩短为2小时全流程自动化,减少人工干预,节省的人力不满意事件的前置处理减少30%投诉量增加客户电渠便利度,提升运营效率单次服务耗时从6分钟下降到4分钟产品设计从3个月降为1个月主要资费产品匹配度从50%提升到77%不匹配客户离网率下降3%相同投放成本下,后者带来的流量提升是前者的150%价值小区客户得到优先保障,投诉率下降25%增加收入来源
数据开放当前聚焦的应用场景精准营销客户满意度维系产品优数据开放:将数据作为商品,提供开放服务分析能力开放报告开放数据开放数据开放场景场景1、业务用户分析能力场景2、情境分析能力场景3、情境+推荐分析…地点推测状态推测社交推测习惯推测电信情境终端情境物理情境社交情境132多种推荐能力互联网分析…在公园休闲的情境推荐喜爱音乐推荐与本商品类似的商品还有根据历史购买猜您喜好业务用户关联分析竞争分析业务知识库人群分析456………78…购车一族美容族白领商务人士97-1506-XXXXXX场景4、标签开放与推荐场景5、授权登陆的标签开放场景6、自定义人群过滤…场景7、商机洞察与人群流向场景8、产品竞争报告…ID授权第三方购车一族运营商APP人群A实时人群过滤购车一族女性服饰投资族自定义DSOP人群分布地图查询商铺选址人群流向和预测输入品牌:华为AscendHonor…自动生成竞争分析报告数据开放:将数据作为商品,提供开放服务分析能力开放报告开放数华为大数据给运营商带来的独特价值31542专业的大数据平台建设和维护能力电信级安全标准要求,保障系统数据安全安全/可靠/专业X86化的计算云,存储云,缓解IOE扩容带来的成本压力集中化的采集、处理,解决烟囱式系统的冗余浪费低成本全球需求分析与管理,版本规划业界领先全球商业模式洞察,创新模式快速响应业界资源汇聚整合,行业经验共享全球视野借鉴架构开放,支持运营商构建应用百花齐放的局面预置更加智能化/自动化的专项应用如精准营销/满意度维系自研系列产品,易提供定制工具,快速响应需求开放/预置/易集成专业实验室提供业界领先技术支撑内嵌业界领先的分析技术和模型领先技术创新实践华为大数据给运营商带来的独特价值31542专业的大数据平台建目录大数据蕴含大价值华为大数据解决方案介绍大数据平台建设探讨目录大数据蕴含大价值大数据平台基础数据仓库X86集群Hadoop云平台精准营销能力统一数据服务电子商城传统电子渠道互联网客服统一数据处理开放式应用平台数据理解、融合、建模数据开放能力实时接触渠道合作伙伴数据应用服务平台建设所需关注的IT能力大数据平台基础数据仓库X86集群Hadoop云平台精准营销能B域数据与O域数据融合建模数据模型建模原则标准化、规范化原则数据源模型可继承原则需求驱动、技术验证原则不做复杂业务维度汇总原则用户为核心且统一用户模型原则简单可识别原则开放性、扩展性原则分层实现:系统数据来源广泛,潜在使用部门和人员众多,需求多样化、个性化,前端要求具有很高的响应性能和分析能力,后端要求广泛的数据集成能力和海量数据的处理、存储能力。单一的模型很难同时满足以上诸多的需求。采用分层实现的方式就是把综合分析系统模型划分为多个层次模型,每层次模型只满足特定的需求,这样分开的结果既简化了模型的设计,又满足了系统对模型提出的各种挑战。明确定位:各层次模型都可以满足运用系统某方面的特定需求,但各层次模型无法独立完成整个系统的全部模型需求。因此,各层次模型功能都必须有明确的功能定位,只有把各层次模型的功能定位清楚以后才能针对其功能的特点有针对性的展开模型设计。区别对待:各层次模型功能都不一样,在其内部的建模的时候遇到的问题和挑战也会存在很大的差别,建模方法自然也就需要区别对待才能更好解决建模中遇到的问题和挑战。总体建模原则以用户为视角实现B域O域数据的关联B域数据与O域数据融合建模数据模型建模原则标准化、规范化原则提供OceanInsightHadoop作为大数据平台的基础Hadoop:独有二级索引技术、colocation、电信级HA和大规模集群管理机制超越竞争对手。HDFS性能比社区版提升2~3倍,M/R性能提升3~10倍,HBase批量入库性能超越Intel2~3倍达到35MB/s,利用二级索引机制查询性能提升10倍以上;移动研究院详测试结果表明OceanInsightHadoop性能超越主要竞争对手。HDFS分布式文件存储HOMHadoop
管理台HBaseNoSql
数据库MapReduce批处理运算Hive数据仓库、SQL查询Zookeeper分布式协调性能优化高可靠性能优化性能优化性能优化高可靠安装、配置、监控、任务调度Bookkeeper分布式存储YARNSQLoverHadoop提供OceanInsightHadoop作为大数据平台的基OceanInsightHadoop性能对比测试结果Testedon5NodeRH2288ClusterStoragePerNode:12x1.8TBCoresPerNode:6x4MemoryPerNode:189GBNetwork:10GbpsEthernetOS:SUSELinux(x8664bit)NMSMasterNodes(Active-Standby)WorkerNodesReadThroughput(MB/Second/Node)HigherthebetterHDFSHDFSWriteThroughput(MB/Second/Node)HigherthebetterMRHbaseJobThroughput(MB/Second/Node)HigherthebetterDataLoadThroughput(MB/Second/Node)HigherthebetterHuaweiClouderaIntelApacheHadoopHadoop2.1.0Hadoop2.0.0-cdh4.4.0Hadoop1.0.3-IntelHadoop2.0.5-alphaHBasehbase-0.94.11-securityHBase0.94.6-cdh4.4.0HBase0.94.1-Intelhbase-0.94.9-securityOceanInsightHadoop性能对比测试结果Tes华为提供云化ETL工具支撑统一数据处理大MapReduce任务mapmapmapreducemapmapbdi基于可视化组件拖拽实现,在可维护性、标准化封装、灵活性等方面更具优势;Hadoop在分任务处理时,任务之间是通过文件进行交换的,通过流程优化,将多个map任务整合成一个任务,剔除了不必要的文件交换,可极大地提高处理性能图形化拖拽流程编排及自动执行优化华为提供云化ETL工具支撑统一数据处理mapmapmapre河南现场云ETL性能对比HUAWEI-BDI云化ETL产品同类ETL产品主机配置曙光640AMD6136*2(x8)2.4GHZ4G*16SASST91000640SS1T*12曙光A-620r-G AMD6136*2(x8)2.4GHZ 4G*16 SASST91000640SS1T*12 DataNode数量5台67台每天数据处理量1T8T数据处理时间9小时17.5小时单服务器计算能力22.756G/小时6.987G/小时对比结论华为BDI云化ETL产品数据计算能力是同类ETL产品数据计算能力的3.257倍河南现场云ETL性能对比HUAWEI-BDI云化ETL产品同数据仓库建设需要满足高容量、高性能以及高稳定性要求,同时又要具备其开放性要求,华为基于高性能开放应用平台FusionCube+OracleRac的数据仓库方案,在软硬件两方面提升数据仓库处理能力和满足稳定性要求。存储节点PCI-eSSDSSD存储节点PCI-eSSDSSD计算节点PCI-eSSDPCI-eSSDCPUIB网络(56GFDR)计算节点PCI-eSSDSSDCPU存储节点PCI-eSSDSSD存储节点PCI-eSSDSSD计算节点PCI-eSSDSSDCPUIB网络(56GFDR)计算节点PCI-eSSDSSDCPU存储节点PCI-eSSDSSD存储节点PCI-eSSDSSD计算节点PCI-eSSDSSDCPUIB网络(56GFDR)计算节点PCI-eSSDCPUIB网络(56GFDR)华为FusionCube硬件平台华为FusionCube硬件平台华为FusionCube硬件平台开放性:基于X86开放平台大内存,单节点>128G快网络,采用IB56GE闪存盘,采用PCI-eSSD存储华为FusionCube硬件平台特点:基于华为高性能硬件的基础数据仓库解决方案数据仓库建设需要满足高容量、高性能以及高稳定性要求,同时又要华为分布式关系数据库:GaussMPPDBP2P通信架构,无单点故障列存储压缩并行批量装载行列混合存储动态扩容不影响业务适用场景:适合PB级关系型数据的低成本存储和查询计算的场景,可支撑海量日志详单的存储和查询;面向高价值关系数据的OLAP分析场景。特点:高扩展性:可支持上千个并发查询,可扩展到256个节点以上;高性能:
入库性能达到单柜160万条/s,遵循ANSISQL标准,10亿记录下100并发下SQL统计查询时延<1s;低成本:
采用x86服务器,比传统数据仓库采用小型机的成本减少90%。华为分布式关系数据库:GaussMPPDBP2P通信架构统一数据服务的关键点在于透明访问实施效果:接口统一化:通过统一SQL接口或SOAP/REST等接口访问数据降低耦合度:上层应用对数据存储细节透明化,降低数据与应用的耦合提升开发效率:跨实例的数据计算在透明访问层中完成,应用内部对此透明数据访问可管理:所有数据访问通过透明访问层,能实现数据访问的统一监控和管理HDFS接口层语言层接口解析层语言解析引擎执行计划和优化引擎任务调度与路由执行层任务计算FDW任务计算FDW任务计算FDW数据目录SQLNativeAPIWebService数据互通接口层接口层面向上层应用或用户,提供统一的数据访问接口。针对不用对象提供不同的接口类型,如SQL、本地API或服务接口等。同时接口层提供数据地图,开放数据层模型信息,支撑应用设计。数据地图RDBMSMPPDB数据联邦构建透明访问服务层的目的是统一管理异构数据库,对应用层屏蔽异构数据库的差异。它可以替代SQL成为平台与应用之间一个兼顾效率与界面清晰的中间层。解决三个问题:查询对应用层透明、统一管理维护、数据联邦。执行层执行层针对上层的任务进行执行动作,不同类型的数据实例有对应的FDW(ForeignDataWrapper)模块。同时,执行层支持数据联邦,支持跨实例数据访问。解析层解析层接收接口层的数据访问命令,并对其进行语法解析,输出用户访问命令所涉及的模型、字段、操作符等基本对象,并基于数据目录信息生成针对各个数据实例的执行计划,执行计划通过任务调度进入到执行层的具体执行模块。统一数据服务的关键点在于透明访问实施效果:HDFS接口层语言精准营销能力大数据平台精细化营销管理9、营销评估活动执行监控活动效益评估1、营销分析KPI运营监控KPI提升评估2、营销策划营销策划管理统一资源管控营销审批管理3、营销活动管理4、客户需求洞察管理活动信息库事件知识库接触信息库10、数据交互服务管理业务事件处理模块目标管理数据获取信令事件处理模块PCRF接口管理传统业务行为分析互联网行为分析位置轨迹分析黄页行为分析行业网关行为分析营销模板配置一键式营销营销规则管理目标客户管理营销活动审批活动调度管理活动优先级接触频次设置6、实时事件营销网络事件营销业务受理事件营销自有互联网业务事件外部互联网访问分析事件8、渠道协同执行统一接触管理CPC适配管理活动预演多波次营销7、个性化推荐个性化推荐引擎5、策略中心策略配置策略效果渠道系统接口管理营销知识库精准营销能力大数据平台精细化营销管理9、营销评估活动执行监控华为内存分析决策计算平台AMStore华为内存分析决策平台AMStore是华为大数据实时分析/查询的核心加速部件,基于内存计算技术,提供比传统磁盘库快100倍,比商用传统内存数据库10倍以上的性能。适用高速探索式分析、Ad-hoc查询、实时分析等场景。基于内存CACHE友好的计算加速技术,支持实时查询响应,相比传统内存数据库性能提升10倍;支持高性能的多表管理和复杂查询,相比磁盘数据库提升100倍以上;22万/s单点内存数据加载性能;支持单点平滑扩展至50个节点,100TB级数据处理能力;在亿级用户宽表分析场景下,进行一次多条件的ad-hoc查询,响应时间:10毫秒级。列式SIMD指令SSE/VAXCache友好压缩数据指纹低时延传输T1T2T3多核并行正交索引分布DA并行MCJOIN多维聚集智能化索引和数据分布HDFSMPPDBOracle/DB2…ETLIARTDSmartMinerBISmartCare/PCCVGSLOADPersistenceLoadTools…In-memoryColumncomputeEngineC-APISQLMDXRSQLScript…In-memoryColumnStoreEngineAMStoreJDBCSQLTools华为AMStore亮点:极高性能的实时分析和查询响应高性能的数据入库和出库数据高并发修改的ACID保护华为内存分析决策计算平台AMStore华为内存分析决策平台A华为实时决策引擎RTD(Real-TimeDecision)关键技术说明CEP引擎华为CEP引擎吸收了近十多年业界和学术界的研究成果,可以克服传统CEP的扩展性(分布),表达能力(如缺失性表达),长时间窗口和内存管理等问题,支撑IT领域的流程复杂事件探测,网络故障探测和营销事件/机会探测等流计算框架华为流式计算框架采用开放的三层结构,用统一的框架支持各种数据,包括结构化和非结构化决策在线优化在约束条件下建立数学模型,完成在线的实时决策优化,提升决策收益。智能决策内置数据挖掘模型,实时预测客户特征基于系统运行产生的推荐和反馈信息完成产品接受概率的自学习RTD定位:RTD定位在决策计算,基于CEP引擎和流计算框架提供实时决策引擎和运行框架。业务面向基于事件的实时决策和个性化推荐场景,提供事件接入、事件模式匹配、基于规则引擎的事件多级过滤、决策图的配置等能力。华为优势:1)规则引擎在单核情况下,常规规则逻辑运算可实现3000万/秒。商用情况:在IPTV、尼日尼亚MTN、无线城市、CRM、Campaign、SDP、BOSS等多个产品中应用。Offering设置硬件设备(RH2285/RH2288)IDESOA组件/EBUS主动事件探测测事件采集事件源DWHApplication规则引擎决策流程处理DataMapper事件预处理事件过滤事件沉淀决策场景反馈处理决策场景定义决策规则定义信令/IT事件采集CEP引擎华为实时决策引擎RTD(Real-TimeDecision第40页基础平台:分布式计算平台分布式存储平台超过20种挖据算法:NaiveBayesianDecisionTreeC4.5K-MeansLogisticRegression…3种挖掘方式:用户建模社交网络分析文本挖掘多种应用场景:个性化推荐类用户行为分析类精准营销类…华为智能数据挖掘引擎:SmartMiner具备分布式、高性能内存计算、内存共享、R语言集成、单点多核算法优化、多点并行算法优化等技术特征。可以支撑电信行业在大数据环境下高性能的数据挖掘分析需求。基础平台:超过20种挖据算法:3种挖掘方式:多种应用场景:华互联网公司MSS/BSS高级情境数据网络侧第三方导入API,报告,SDK,页面集成数据整合特定三方报告互联网行为……竞争分析行业报告新品上市数据开放报告开放分析能力开放情感分析社交分析语义分析模推荐分析情境分析互联网分析用户偏好用户号码包装企业号码用户位置用户属性公共数据第三方SME/开发者CP/SPIT公司/移动广告其他第三方企业基础通信和内容开放内容(音乐)计费……语音短彩信定位能力聚集API接口安全权限控制API加密数据加密数据开放能力互联网公司MSS/BSS高级情境数据网络侧第三方导入API,建设演进思路融合服务基础1、补齐架构所需的MPP数据库,扩容数据仓库集群,数据集市集群,hadoop框架的云化ETL,构建非结构化数据处理能力,实现架构灵活化必备条件。2、补充新的跨域应用,如互联网分析,精准营销等;丰富业务急需应用3、补充新应用所需数据源1、新增实时计算集群和流处理平台,融合混搭架构,构建统一数据云处理平台,统一系统管理功能。2、挖掘丰富数据资产,逐步建立企业数据模型,完善数据资产安全保障体系及资产质量保障体系3、利用系统融合能力,发挥数据资产价值,丰富跨域应用,支撑实时精准营销。1、构建统一访问层与开放服务平台,具备向外部合作伙伴提供数据服务的能力2、优化系统组件,完善应用统一开放框架,丰富日常分析应用,完善应用体系化3、全面推广数据服务,实现服务个性化1、大数据平台涉及技术/部件众多,需根据具体要求构建基础架构,整合数据;2、需基于价值体现的要求,以应用建设为契机,逐步完善大数据平台能力;2、体系的完善必然要走过螺旋上升的阶段,很难一撮而就。建设演进思路融合服务基础1、补齐架构所需的MPP数据库,扩容与集成公司的探讨合作类别支撑模式源代码开放程度备注Hadoop基本特性华为Hadoop商用特性,可现场直接部署不提供源码,提供API开发技术指导。华为研发中心内部研发,目前已经具备功能。Hadoop增强特性现场定制开发,华为主导设计并提供开发支持,集成公司进行开发,成果共享。开放定制部分设计文档;开放定制部分源代码。开放式作业调度现场定制开发,华为主导设计支持,集成公司进行开发,成果共享。开放定制部分设计文档;开放定制部分源代码。华为从总部研发->现场实施—>技术规划支撑,形成三位一体的流程化支撑体系;针对联通集团大数据项目,华为成立专门的对口支援团队,从研发到交付、到维护进行端到端专人对口支撑;华为与集成公司组建联合项目组,从定制开发->项目实施->支撑维护全面合作,全面规避项目风险。与集成公司的探讨合作类别支撑模式源代码开放程度备注Hadoo大数据时代的大机遇课件华为大数据分析平台介绍1、跨行业的海量数据处理架构集成经验。服务器设备、HADOOP、内存数据库平台等关键技术,由底层平台研发团队提供技术支持与维护服务,保障持续并且可靠的技术架构演进进程。
2、基于对B域O域的全面业务理解,构建全视角的融合业务模型。通过全面的客户研究、产品研究、满意度实时监测控制、精准营销等模型,针对各种业务流程、策略给出智能化建议和依据,推动运营商达成数据驱动运营转型。
3、开放的业务平台。通过核心业务模型层的平台积累与合作厂商定制应用的协作共赢模式,构建最佳解决方案生态环境。
4、华为大数据解决方案技术先进,性能更优。华为在海量信令实时营销方案与云化ETL方案等领域已非常成熟,稳定性经受住了样板局点的长期业务考验;性能指标也分别达到了亚联同类平台的10倍和3倍以上。5、大数据的获取能力。针对DPI、OSS和BSS中涉及到的网元提供预集成的数据接入框架。SOP大数据分析平台竞争力华为大数据分析平台介绍1、跨行业的海量数据处理架构集成经验。大数据时代的大机遇大数据时代的大机遇目录大数据蕴含大价值华为大数据解决方案介绍大数据平台建设探讨目录大数据蕴含大价值大数据定义广义大数据:是物理世界到数字世界的映射和提炼,通过发现其中的数据特征和规律,最终实现提升人们生活质量、提高生产效率的目的;狭义大数据:是指围绕着海量数据的智能存储、智能挖掘和智能分析;由于数据量过于庞大,在同样的约束条件下(性能和成本),使用传统的IT技术无法完成数据的管理和分析满足4V(Volume、Variety、Velocity、Value,即容量大、种类多、流量快、价值高)指标的数据称为大数据大数据是指难以实现存储、搜索、共享、可视化和分析的大型数据集大数据定义广义大数据:是物理世界到数字世界的映射和提炼,通过数据,已经渗透到每一个行业和业务领域,洞见本质、预测趋势、指引未来是BigData时代的核心用未来牵引现在,用现在保证未来!数据,已经渗透到每一个行业和业务领域,用未来牵引现在,用现在运营商需要依据大数据发展趋势进行战略选择以数据来源和数据用途两个维度来看,大数据会经历三个阶段:从自发的利用内生数据解决问题,到基于数据的应用商业化,再到进入数据共享交易时代。数据用途(提供者角度)数据来源(使用者角度)BigData-R数据是资源。依托主营业务的数据进行整合,衍生出特定的商业数据应用。数据与业务强相关组合。BigData-C数据就是商品。通过规则开放市场,数据在不同企业和领域间被交换、处理和应用,形成数字经济商业生态环境。数据用于向外部客户提供服务数据分析结果用于解决自身业务问题从外界有偿获取需要的数据和服务自有资源和业务数据采集分析BigData-M数据是手段。利用自有的业务运营数据,进行汇集和分析,指导企业经营和管理。运营商需要依据大数据发展趋势进行战略选择以数据来源和数据用途新技术的大量涌现,运营商如何选择?内存分析流式计算IBMStreams、ApacheStormSAPHANA、OracleExalyticsMPP数据仓库NoSQL多维分析OracleEssbase、IBMCognos数据挖掘/预测分析文本分析Hadoop发行版Dremel、Spanner、Impala、EMCHAWQNewSQLCloudera、MapR、HortonworksHbase/Hive、Cassandra、MongoDBExadata、GP、Teradata、NetezzaSAS、SPSS、R、MahoutSplunk自然语言处理社交图谱分析Siri、IBMWatson媒体智能分析大数据技术栈Pregel、Neo4jVideosurf软硬一体机OracleExadata、IBMPuredata
小型机数据库分析多样智能化:智能决策从结构化数据分析向文本、语音视频媒体的智能分析、社交化图谱分析方向发展分析实时化:分析计算向自助式ad-hoc多维分析、实时内存分析、流式计算发展管理集中化:数据管理从数据仓库、Hadoop向支持海量数据集中化管理、交互式SQL查询的NewSQL发展软硬一体化:传统基础设施从小型机向软硬整合一体机方向发展数据治理Datastage大数据技术向海量、实时和智能发展。在实际的应用过程中按需采用。新技术的大量涌现,运营商如何选择?内存分析流式计算IBMS目前为止半数以上的运营商已经开始部署大数据,针对具体应用的方案占多数Source:InformaTelecoms&MediaN:240(Allbase)结论1
半数以上已经开始部署大数据,但是规模不一;结论二相比规划和部署端到端大数据方案,针对具体应用/目的的大数据方案占多数;目前为止半数以上的运营商已经开始部署大数据,针对具体应用的方TMF34个大数据分析应用场景企业管理欺诈管理业务流程优化市场营销网络优化客户体验网页浏览个性化推荐Checkout个性化推荐实时互动个性化推荐基于位置实时个性化推荐基于业务使用的实时个性化推荐基于价值的网络规划新企业用户订单影响分析基于策略的网络性能管理个性化的实时交互人工服务适时的客户接触关怀客户离网风险预测客户离网原因预测个性化的挽留营销活动挽留营销活动的效果评估网络故障检测和恢复基于价值的实时网络拥塞管理实时Wifi转移(四网协同)收入保障合作伙伴价值优化基于设备的实时个性化推荐基于互联网记录进行精准广告产品分析产品优化产品设计和开发产品引入分析数据货币化沉默用户(服务)主动关怀客户自服务渠道效率分析渠道和时间偏好分析客户体验差的时候主动关怀网络故障的时候主动关怀市场分析&监控客户对产品的购买概率分析TMF34个大数据分析应用场景企业管理欺诈管理业务流程优化华为大数据应用情况截止到2013年11月份,全球拓展86个大数据市场项目,其中39个交付中(11个已经商用)商业智能流量经营网络运维客户关怀大数据基础设施精准营销大数据分析和数据开放华为大数据应用情况截止到2013年11月份,全球拓展86个大11个商用项目简介(按正式商用时间先后排序)产品名称(Offering)项目名称项目描述商用时间SDP彩铃尼日利亚彩铃MTN主要是预测分析(流失率预测、订购行为预测)以及关联推荐营销,Smartminer用户分类分析能力2012年11月日志详单天津私有云提供超大容量100台节点的访问和管理能力
提供便捷的安装部署能力
提供高很高的吞吐量和高并发的业务访问2012年12月CBS巴林VIVOCBS项目用于AR/GL/Report等模块,实现模块间数据集成;提供产品配置、匹配、订购的规则引擎2013年6月SDP游戏基地SDP游戏基地(BDI)游戏基地:将分布式数据库Teastore中的数据同步到BI系统进行经分分析。要求每月全量同步一次,每天增量同步一次,同时同步的数据要按照客户的要求进行聚合。2013年8月CBS不丹TashiCBS项目用于AR/GL/Report等模块,实现模块间数据集成;提供产品配置、匹配、订购的规则引擎2013年10月eCommerce电子渠道河北移动(BDI)业务方目前已完成部分流程的配置,jdbc抽取、jdbc加载节点使用最多,数据库都是oracle。中间偶尔会有过滤等少量转换节点。正在和第三方讨论方案,已决定文本的处理。
调度方面存在三个:
1、分钟目前有5个分钟调度,1个1分钟调度,4个两分钟调度,大多数据量是1条,5个调度总共7条数据。
2、日大约15至20个。总数据量不超过100条。
3、月目前有3个,数据量和日调度一致,总数据量不超过100条。2013年10月RBT音乐平台菲律宾Smart项目BDI,SM,RTD,Hadoop共计4个组件。
新用户因其不存在用户评分记录,这个时候可以基于用户特性、标签通过业务规则来推荐,用户特性或标签本身可以来源于数据挖掘分析或者是数据钻取分析。2013年10月BI(一体化营销项目)山东移动一体化营销项目提供事件决策平台,引入实时和精确营销能力Hbase客户画像,RTD实时决策能力2013年11月VASCloudReport多米尼加(BDI)支持7个报表产品,合计100个左右的作业调度。报表接受系统定时(默认2-30分钟之间)采集生成的统计数据文件。部分话单包括和配置表关联衍生字段。
按一般消息400字节计算,具备单机2万/行的入库能力。支持单机和集群部署,集群一般场景是双机2013年11月HybirdVideo卡塔尔卡电(BDI)
提供BDI2013年11月SDP音乐基地四川移动音乐基地(BDI)四川移动音乐基地:将分布式数据库Teastore中的数据同步到BI系统进行经分分析。
每天增量同步一次,全量只同步一次,同时同步的数据要按照需求进行聚合。2013年11月11个商用项目简介(按正式商用时间先后排序)产品名称(Off中移动集团私有云/南方基地日志详单系统背景介绍:北方基地私有云和南方基地,为中移动集团的南北两大云计算基地,集中建设海量日志详单系统,用于集团各省公司共享式地使用Hadoop存储日志详单数据;系统规模为1xx节点,存储容量1.xPB业务描述:基于HDFS的清单数据存储服务。基于MR和Hive的清单数据统计分析服务。成功经验:系统2013年初成功上线商用,已经支撑上线的业务系统包括防骚扰电话、垃圾彩信,等等。数据查询服务层数据存储服务层数据接口和访问层日志详单数据存储系统逻辑功能视图中移动集团私有云/南方基地日志详单系统背景介绍:数据查询服务第57页菲律宾PLDT大数据存储ETL(Extract,Transfer,Loading)ProductAnalyticReportingInquiryDataWarehouseExadata(160T)BIHadoopStructureddataMPPUnstructureddataHuaweiBigDataSolutionLoadArchiveSimpleInquery&Analytic痛点诉求
如左图,机会1:A(结构化数据存储)+B(非结构化数据存储);机会2:ETL基础数据处理。提供的方案
硬件采用x86服务器,软件系统采用OI平台,提供A+B+C的整体解决方案,超出客户需求。空间和进展
一期已开始交付;二期需求主要是B和C,投资预算超$500万。
后续该大数据存储中心可作为IT网改中的核心部件,为上层各应用(BI/Report/CRM等)提供统一的数据接口和服务。IndicatorPOCResultRequirementQueryPerformance2-4sdelaywith300concurrentqueries10sLoadingPerformance83+MB/Swith
13nodes11MB/SExportPerformance135+MB/Swith
13nodes11MB/S需求驱动来源
随着MBB发展,用户上网数据暴增,DWH撑爆,话单查询需数十秒甚至分钟级。当前的存储服务器老旧,已无法扩容,急需新的存储解决方案。客户需求描述
对6个月以上的话单进行归档和简单查询,查询延时最长10秒;对非结构数据(如网络日志)海量存储查询。一期目标是结构化数据的存储,数据量规模300T。菲律宾PLDT大数据存储ETL(Extract,Tran山东移动综合分析系统与山东移动合作进行网络综合分析系统一期建设:完成了HADOOP+MPP的大数据架构的搭建;打通与Gn信令系统、综合资源系统、经分系统、流控系统、话务网管、数据网管、网优系统、拨测系统8个系统的接口;初步建立网络数据融合分析模型和指标体系;应用层数据仓库层数据源基础数据层
流控系统经营分析系统EOMS系统…Gn分析系统话务网管系统数据网管系统综合资源系统数据质量管理四网协同价值小区应用专题自定义分析HBaseM/RHiveHDFS山东移动综合分析系统与山东移动合作进行网络综合分析系统一期建互联网用户行为分析支撑个性化营销,提升营销效率用户上网行为实施案例:河南移动互联网分析系统黑龙江移动互联网分析系统广东联通精细化运营平台……互联网行为分析支撑个性化营销实施前情况实施后效果互联网用户行为分析支撑个性化营销,提升营销效率用户上网行为实借助互联网分析进行全内容智能分发全内容智能分发平台,功能建设方面已经实现全内容管理、渠道信息管理、个性化推荐管理和互联网渠道运营等模块,并构建了一个包含阅读、视频、音乐、游戏等栏目的手机版全内容聚合portal;内容方面已实现手机阅读、无线音乐、手机游戏、手机动漫等业务的内容数据接入,手机视频在12月初完成数据接入。
截止到11月26日,通过139导航小说栏目月推荐小说覆盖数达10568本,累计达14826本,累计访问用户数达152842个,成功点播用户数达58996个,共阅读4321101章节,月均阅读约217万章节,月均收入约19.53万元,预计全年可实现收入约234.36万元。借助互联网分析进行全内容智能分发全内容智能分发平台,功能建设某省精确营销系统案例Page62事件类型事件量级触发事件触发规则适合的营销活动业务/分析
事件500万+/天缴费办理事件客户到营业厅或代理商交话费推荐网上交话费送话费、手机支付网银交话费等优惠活动用户信息录入事件用户是某营销活动的目标客户通过BOSS双屏向营销员侧和用户侧推荐相应的营销活动信息,比如终端类营销活动、存话费送礼品营销活动短信营业厅接触事件用户发给短信营业厅的短信为特定指令进行关联产品推荐,比如订购来电提醒时向客户推荐短信回执、订购手机阅读时向客户推荐热门书籍、初次订购GPRS套餐时向客户推荐热门应用网厅、掌厅登录事件用户是某营销活动的目标客户在优惠活动专区醒目地展示特定营销活动………信令事件5亿+/天语音呼叫、接听事件拨打长途电话发生漫游通话拨打查号、订票类电话推荐长途12593、长途包推荐非常假期、两城一家推荐12580业务短信发送、接收事件与飞信用户短信往来收发特定短信网关的短信推荐短信套餐、飞信业务推荐自有替代业务或相关业务位置更新事件、位置切换事件处于机场、商业中心等特定区域处于漫游状态推荐WLAN业务、商家联盟等业务推荐手机阅读、手机导航等数据业务开机事件用户未订购来电提醒业务用户处于漫游状态推荐来电提醒业务推荐12580、移动气象站等业务………互联网事件(接入中)40亿+/天(估计)使用手机软件事件使用手机软件访问互联网推荐移动同类产品或业务搜索事件歌曲搜索、小说搜索时触发推荐相同类型的歌曲或小说音乐试听事件在音乐平台点击音乐试听推荐相同类型歌曲………某省精确营销系统案例Page16事件类型事件量级触发事件触与XX移动开展基于热线大数据挖掘的终端销售提升活动STEP1:定向抽取录音到语音分析引擎,作为重要数据输入STEP2:深入研究客户热线交互行为数据,输出换机关联强度信息STEP3:汇集热线大数据与BI标签信息,对典型换机用户进行聚类分析,区分不同购机驱动力用户群体STEP4:通过专业数据挖掘算法,计算输出用户终端兴趣指数STEP5:生成个性化手机选择过滤器,匹配出用户偏好终端机型STEP6:将用户购机兴趣指数、偏好等热线数据挖掘成果应用到在线呼入、外呼/直复营销实践支持30%录音结构化入库,语音识别率从35%提升到了80%文本分析及终端兴趣挖掘模型此次热线终端营销目标机型是低价智能机,从模型输出的34562名用户中匹配出6457人呼出量接通量接通率外呼成功率配送成功量配送成功率感兴趣量兴趣率6457231935.9%8.62%12462%48520.9%客服语音数据是最能体现客户真实需求、客户满意度的数据,通过语音数据的文本转换,可以达到数据价值的深入挖掘。文本分析和数据挖掘模型聚类分析;决策树分析;关联分析;…文本挖掘分析;与XX移动开展基于热线大数据挖掘的终端销售提升活动STEP1数据开放相关进展沃尔玛选择行业:大卖场开店目标区域:交通便利/居民区开店目标人群:中高收入/家庭主妇开店自定义自助辅助查看行业选择24小时人群流量曲线图选定区域人群偏好分布人群归属地查询不同区域人群对比分析…开店候选区域目前,沃尔玛采取的是人工蹲点方式进行采样分析;每个潜在新址花费约几万元江苏移动、湖北移动均对数据开放非常关注,当前湖北正在考虑进行实际系统
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 合作办学项目协议范本
- 重型吊车租赁合同范本
- 展览活动参展协议书模板
- 2024装修大包合同模板
- 2024年离婚协议书范本简易
- 新服装定制合同样本
- 2.2 创新永无止境导学案 2024-2025学年统编版道德与法治九年级上册
- 债券认购与债权转让合同实务
- 门店租赁合同协议书
- 上海市超市洗涤产品流通安全协议
- 行政服务中心窗口工作人员手册
- 最新患者用药情况监测
- 试桩施工方案 (完整版)
- ESTIC-AU40使用说明书(中文100版)(共138页)
- 河北省2012土建定额说明及计算规则(含定额总说明)解读
- 中工商计算公式汇总.doc
- 深圳市建筑装饰工程消耗量标准(第三版)2003
- 《初中英语课堂教学学困生转化个案研究》开题报告
- 钢筋桁架楼承板施工方案
- 恒温箱PLC控制系统毕业设计
- 176033山西《装饰工程预算定额》定额说明及计算规则
评论
0/150
提交评论