实时大数据广电案例

实时大数据广电案例本案例是国内的一家广电企业作为非洲国家的一个运营商，吏用永洪Z-Suite作为分析平台，以用户收视行为数据作为基础数据，通过对频道和节目的分析，采用多维度统计分析的方法挖掘用户的收视行为特征。用以指导并辅助产品运营、用户增值消费导向、广告投放及节目和频道质量的把控，提升用户的粘度提供参考依据，针对卢旺达地区的收视行为做出了分析，并根据分析结果提出了一系列措施来吸引当地用户，提高收视率。这家广电企业的用户行为数据是通过卢旺达几十万用户的机顶盒进行采集的，实时性强，数据量大，采集信息丰富，对系统性能要求高，对大数据量的实时分析挑战大。如果吏用传统数据库，根本无法达到性能要求，面对几十亿的数据量，传统数据库没有能力进行这种数量级的统计计算，无法承担分析平台的计算任务。而这家广电企业又没有专业的Hadoop人员，经过两个月的Hadoop内部调研，无法顺利搭建Hadoop的大数据计算平台，而且Hadoop本身的也不具备实时性，也无法满足分析平台的需求。永洪Z-Suite是基于列存储，MPP分布式的实时大数据分析BI工具，经过用户的初期验证，通过搭建的两个节点的集群，导入了上亿的数据，并根据上亿的数据制作了仪表盘，并进行了实时分析，认为永洪Z-Suite具有担负起收视分析平台的大数据实时分析的能力，并且直接提供了功能强大的BI分析前端工具，可以更好，更方便的搭建统一的收视行为分析平台。以下介绍利用永洪Z-Suite分析平台，在大数据基础上对用户收视行为进行实时分析。頻道来源分奏全天每廿分钟收视走势图K< 2013A.0日一二三IHJSMM少1>卅五次2K< 2013A.0日一二三IHJSMM少1>卅五次23gDD%_OOD%-0.0D%_2.SD%'14D%-O.OD%iS.OD%-40D%-OOD%'O.SCjiW'価分神Q.Wii种-4 B € 7 3 9 1-014 12 13 14 16 K 1718 1S 20 21 12 23 2425 2& 27 2B 29 34} 31頻道粪孚•'*S<rravatar心Locai■'■Purchas-itd占04缶-&于養hM.DZ-GrrOEMgr--m.slr-严45Er<▼-&■?.%〔士心.-WE由gw忠召切黑-sr里」T~sg.雯.更-65二-&分•芸JM-T-T--cc.'r-T-占E.B-ST-.B需」4>|<■忠实度 ■收祝审 ■到达率U人均口收紙吋氏图21频道按来源分类—自办频道各收视指标时段走势图濒遒内容分奏对比分析-------呻tti*涉卅fr241«專»存掘第XI£?弋21址疋算茶柴骑-------呻tti*涉卅fr241«專»存掘第XI£?弋21址疋算茶柴骑Y.h1U眈■驛］Nvw«MaviiH':Fashsn■CMdrm-6SD23频道按内容分类各收视指标对比图图21频道按来源分类—自办频道各收视指标时段走势图，可以看到自办频道在各个时间段的各指标变化情况，用户在20:00-20:30这段时间内开始转换频道，建议在20:00-20:30时段投放广告，增加广告的时效性，吸引用户。图23是按照频道内容进行分类考察不同频道的收视情况，参考图23右下饼图可以看出国际频道、电影频道和综合娱乐频道收视良好，颇受用户喜欢，排在前3位。使用永洪Z-Suite工具，可以在大数据情况下，实时秒级响应，展现仪表盘，大大加快了分析过程，提高了效率。为在大数据基础上，进一步更准确的了解用户收视行为，做出准确分析提供了条件，并做了合理化建议来帮助增加收视率，和增加用户的忠诚度。可以看到，永洪Z-Suite在几十亿的数据量情况下，可以担负起秒级大数据的实时分析和数据可视化。在有限的预算下，利用几台机器搭建的集群，轻松应对以前要上百万预算才能达成的大数据实时分析需求，并且架构灵活，适应不断变化的需求，部署便捷，性价比很高。永洪Z-Suite特点：永洪科技Z系列产品可以分布式部署，轻松支持TB级甚至PB级数据的实时分析。这款产品在大数据(BigData)分析领域处于国际领先地位。Z-Suite具有高性能的大数据分析能力，她摒弃了向上升级(Scale-Up)，全面支持横向扩展(Scale-Out)。Z-Suite主要通过以下核心技术来支撑PB级的大数据：跨粒度计算(In-Databasecomputing):Z-Suite支持各种常见的汇总，还支持几乎全部的专业统计函数。得益于跨粒度计算技术,Z-Suite数据分析引擎将找寻出最优化的计算方案，继而把所有开销较大的、昂贵的计算都移动到数据存储的地方直接计算，我们称之为库内计算(In-Database)。这一技术大大减少了数据移动，降低了通讯负担，保证了高性能数据分析。分布式计算(MPPComputing):Z-Suite是基于MPP架构的商业智能平台，她能够把计算分布到多个计算节点，再在指定节点将计算结果汇总输出。Z-Suite能够充分利用各种计算和存储资源，不管是服务器还是普通的PC都能搭建为集群，她对网络条件也没有严苛的要求。作为横向扩展的大数据平台，Z-Suite能够充分发挥各个节点的计算能力，轻松实现针对TB/PB级数据分析的秒级响应。列存储(Column-Based):Z-Suite是列存储的。基于列存储的数据集市，不读取无关数据，能降低读写开销，同时提高I/O的效率，从而大大提高查询性能。另外，列存储能够更好地压缩数据，一般压缩比在5到10倍，这样一来，数据占有空间降低到传统存储的1/5到1/10。良好的数据压缩技术，节省了存储设备和内存的开销，却大大了提升计算性能。内存计算：得益于列存储技术和并行计算技术，Z-Suite能够大大压缩数据，并同时利用多个节点的计算能力和内存容量。一般地，内存访问速度比磁盘访问速度要快几百倍甚至上千倍。通过内存计算，CPU直接从内存而非磁盘上读取数据并对数据进行计算。内存计算是对传统数据处理方式的一种加速，是实现大数据分