大数据产品培训-

大数据产品培训注意保密信息化事业部2015年3月应用，自助，对内，对外目录：添加目标与架构目录12位置域产品3沃风云榜数据可视化4自助建模1.1产品介绍1.3技术架构1.2产品概述1.4产品价值什么是“沃·风云榜”“沃·风云榜”基于广东联通强大的大数据平台处理能力而实现。通过对全省用户上网数据、位置数据、终端数据以及基础数据的实时处理和解析，结合聚类算法以及热度模型，计算得出全省用户所关注的热点事件以及关注热词，并赋予量化的热度值进行排列展现。“沃·风云榜”的产品特征量化角度评价热点以PV值论英雄打破PV值：基于真实用户的上网行为、真实的浏览数据而计算，避免了热度可能是由机器刷

PV而产生的弊端，使整个行业以及用户变得可触摸，更加权威、有序；将热点从定性转为定量：热度模型将用户行为进行热度定量转换，其价值在于通过量化指标充分评价一个事件在业界的反响和传播；突破互联网公司自身局限：一般互联网企业的搜索排行榜或事件风云榜是从自身单一平台的

角度来统计热点热词；而“沃·风云榜”是从用户的角度，综合计算热点事件在受众群体以及

在不同平台之间的浏览情况，更客观真实地反

映出事件传播的范围和用户覆盖程度。应用，自助，对内，对外目录：添加目标与架构目录12位置域产品3沃风云榜数据可视化4自助建模1.1产品介绍1.3技术架构1.2产品概述1.4产品价值Potal页展现热点追踪热词排行电商热词地域热词主要包括热点追踪（热点新闻/事件）、热词排行和电商热词、地域热词四个板块；其中热点新闻和热词排行是重点，设置简单直接的交互操作，地域热词以地图形式展示。搜索热词板块热点板块电商板块地域热词板块热词排行页面分类热词展现，按搜索引擎分类按电商分类按搜索词分类按地域搜索分类热点追踪页面分地域热点展现Top10热点即时更新*设置敏感新闻/事件信息过滤功能应用，自助，对内，对外目录：添加目标与架构目录12位置域产品3沃风云榜数据可视化4自助建模1.1产品介绍1.3技术架构1.2产品概述1.4产品价值沃·风云榜的技术框架信令数据去重过滤转换实体向量识别非实体向量命名内容爬取数据清洗文本表述关键词解析内容分类摘要算法分类算法聚类算法词向量模型热度模型热点事件电商热词搜索热词地域热词热点跟踪预测上网数据数据获取数据处理关键技术功能应用位置数据

终端数据BSS数据广东联通大数据处理平台主要的算法模型摘要算法过程：通过标题和正文内容，计算每个分词的TF和IDF，得出每个分词的权重。对正文内容进行分段和分句，根据段落位置和句子位置赋予不同的权重。每个句子对包含的分类的权重进行累加并加上句子本身的权重，得出每个句子的得分。挑选得分最高的TopN句子串联起来，形成摘要。聚类算法过程：对文档正文内容进行分词，根据TF-IDF计算每个分词权重，选择TopN分词，转化为特征向量。分别计算已有的簇的质心与该文档的相似度。找出最大相似度，如果最大相似度达到某一个阈值，则加入此簇，并更新该簇的质心（即聚类到已有热点中）；否则该文档就形成一个新的独立簇，即聚成一个新的热点。热度计算模型：事件热度由各种因子线性叠加得出：s=a1*s1+a2*s2+a3*s3+a4*s4其中：s1为该热点的网页得分：s1=e^(b1/x);

s2为该热点的网站得分：s2=e^(b2/x);

s3为该热点的用户点击得分；s3=e^(b3/x)s4为该热点发布时间的方差得分：s4=e^(b4/x)应用，自助，对内，对外目录：添加目标与架构目录12位置域产品3沃风云榜数据可视化4自助建模1.1产品介绍1.3技术架构1.2产品概述1.4产品价值对联通的价值沃·风云榜=营销风向标基于真实的用户、真实的数据而形成的风云榜，通过数据还原不同用户群体的兴趣和关注点，能够有效指导营销推广。沃·风云榜=商机挖掘器通过定量的指标综合评价热点事件的网络传播力和用户覆盖度，有利于业务部门从中挖掘营销机会，并判断商机价值。沃·风云榜=财富通道形成“沃·风云榜”的背后是联通利用大数据能力对各类数据的加工和计算，而这些有价值的数据能够帮助联通的合作伙伴优化其产品和服务，是增强与各行业合作的重要窗口。对行业的价值行业标杆“沃·风云榜”打破了各类搜索引擎、网络媒体和资讯平台以单一平台数据统计热点的局限，真实反映了热点事件本身，因此“沃·风云榜”更具备行业标杆的参考意义。口碑焦点“沃·风云榜”所采用的热度模型，打破了唯PV值论的落后统计方法，充分考虑了用户、点击、网站等影响因子，因此对

行业合作伙伴而言更客观反映了用户的兴趣、口碑和意愿。直达用户“沃·风云榜”基于真实的用户，拥有全面的用户信息和位置、终端和消费能力等高附加值数据，较同类型产品离用户更近，蕴含着巨大的商业价值有待发掘。应用，自助，对内，对外目录：添加目标与架构目录21位置域产品3沃风云榜数据可视化4自助建模2.1产品概述2.3技术架构2.2产品介绍2.4商业价值位置域产品通过自助圈选区域，配置指标，结合平台用户指标标签生成该区域分析报表及明细数据。3、分析报表促销决策支撑广告屏投放咨询店面选址应用地图圈选配置指标报表展现支撑应用用户自定义画圈选取商圈，并选取分析用户出现在该位置的时间，选定分析用户群。自助化指标配置，包括人流量、b域指标。生成分析报表，以及图型展示。生成标准化接口，全面支撑对于精

确位置用户的用

户分析的数据应

用。位置域产品—产品概述置域产品—产品概述1位7随着位置域数据的使用需求不断增多，客户的取数要求不断提升，项目团队对交换侧的数据逐渐支撑力不从心，人工成本越来越大。面对这样的情况，必须将位置域信息以指标标签体系的方式放入平台中，由用户自行选取和组合，结合位置数据、用户域数据的实时处理和解析，达到指定位置数据的展现。应用，自助，对内，对外目录：添加目标与架构目录21位置域产品3沃风云榜数据可视化4自助建模2.1产品概述2.3技术架构2.2产品介绍2.4商业价值位置域产品--新增商圈点击左侧栏目最上方的+号，新增圈定的商圈位置域产品--新增商圈用地图工具 在地图上圈定范围，填写此商圈的标题和相关的商圈描述，点击保存即成功创建了一个位置域商圈位置域产品--新增商圈在左侧栏最上方会出现新建的商圈标题，选中此商圈，会在下方出现5个功能按钮，从左到右分别是：用户分析，用户数据统计，用户数据明细，编辑位置域商圈，删除位置域商圈，点击功能按钮可对商圈进行相关操作位置域产品—用户分析功能选择此商圈需要分析的时间段，点击“用户分析”为自助报表功能，“用户明细”为自助取数功能位置域产品—自助分析点击新建报表模板，进入自助报表配置板块建立报表所属域，支持不同域的选择置域产品—自助分析2位4选择报表列相关指标标签选择报表行相关指标标签位置域产品—自助分析设置条件时间位置域产品—自助分析报表预览完成报表配置位置域产品—自助分析查看报表展现位置域产品—用户明细点击新建取数模板，进入自助取数配置板块位置域产品—用户明细增加取数指标标签按钮位置域产品—用户明细配置取数任务过滤条件位置域产品—用户明细单次任务执行时间下载文件类型和分隔符位置域产品—用户明细查看取数任务执行情况位置域产品—用户明细取数文件下载取数任务文件下载应用，自助，对内，对外目录：添加目标与架构目录21位置域产品3沃风云榜数据可视化4自助建模2.1产品概述2.3技术架构2.2产品介绍2.4商业价值根据NIST（NationalInstituteofStandardsandTechnology，美国国家标准与技术研究院）的权威定义，云计算的服务模式有SPI（即SaaS、PaaS和IaaS）这三个大类或层次。这是目前被业界最广泛认同的划分。PaaS和IaaS源于SaaS理念。PaaS和IaaS可以直接通过SOA/Web

Services向平台用户提供服务，也可以作为SaaS模式的支撑平台间接向最终用户服务[3]。1.SaaS：SaaS是Software-as-a-Service（软件即服务）的简称。提供给客户的服务是运营商运行在云计算基础设施上的应用程序，用户可以在各种设备上通过客户端界面访问，如浏览器。消费者不需要管理或控制任何云计算基础设施，包括网络、服务器、操作系统、存储等等；2.PaaS：PaaS是Platform-as-a-Service的缩写，意思是平台即服务。提供给消费者的服务是把客户采用提供的开发语言和工具（例如Java，python,.Net等）开发的云计算SPI关系图或收购的应用程序部署到供应商的云计算基础设施上去。客户不需要管理或控制底层的云基础设施，包括网络、服务器、操作系统、存储等，但客户能控制部署的应用程序，也可能控制运行应用程序的托管环境配置；3.IaaS：IaaS（Infrastructure

asa

Service），即基础设施即服务。提供给消费者的服务是对所有计算基础设施的利用，包括处理CPU、内存、存储、网络和其它基本的计算资源，用户能够部署和运行任意软件，包括操作系统和应用程序。消费者不管理或控制任何云计算基础设施，但能控制操作系统的选择、存储空间、部署的应用，也有可能获得有限制的网络组件（例如路由器、，防火墙，、负载均衡器等）的控制。Etl置域产品—系统架构3位5PAAS数据平台IAAS虚拟资源主机资源池存储资源池网络资源池管理管理平台

虚拟资源

物理资源

业务性能管理

监控应用部署数据计算二次实时计算实时流式汇总、分析计算统一数据服务平台数据管控数据服务平台(对内)统一接口

权限

任务调度服务监控

数据导出

数据导入非结构化/大数据存储（资源池）计量认证数据服务平台(对外)服务监控

数据推送任务调度

数据加密SAAS自助应用平台（自助取数、自定义报表、多维分析、多层级挖掘）数据应用（精细化营销、维系挽留、流量经营、存量经营、作业价值、网络优化、互联网数据分析）结构化数据存储（资源池）MPP数据库 关系数据库HADOOP、Cassandra元数据管理数据质量管理数据生命周期管理数据安全管理实时采集实时采集、清洗大数据汇总、挖掘离线计算ETL（数据采集、清洗、汇总、标签挖掘）外部合作应用置域产品—技术架构3位6位置数据广东联通数据中心平台去重过滤转换内容爬取数据清洗地图解析定点定位地图测距商圈定制定点报表定点取数数据获取数据处理关键技术功能应用定点找基站地图画圈经纬度与坐标转换应用，自助，对内，对外目录：添加目标与架构目录21位置域产品3沃风云榜数据可视化4自助建模2.1产品概述2.3技术架构2.2产品介绍2.4商业价值置域产品—商业价值3位8基于圈定位置真实的人流量，用户行为，用户业务量分析，可以为营销策略做导向商圈用户的行为分析，业务量情况，人流量分析，便于业务部门从中挖掘有利的商机通过商圈数据的加工和计算，利用这批有用的数据为其他合作伙伴优化其产品和服务，增强与各行业合作的窗口位置域产品分析财富通道商机挖掘营销导向应用，自助，对内，对外目录：添加目标与架构目录32位置域产品1沃风云榜数据可视化4可视化平台规划划可视化平台介绍自助建模产品定位可视化平台

=

大数据门户能力可视化应用可视化模型可视化数据可视化服务可使用产品可交易产品定位用数据说话：

广东联通大数据，用户可触摸、可到达演进方向①可看见②可使用③可交易数据可视化能力可视化应用可视化模型可视化热点可视化用户可视化业务可视化用户360画像沃.风云榜热力图广告人流分析热点营销专题数据合作案例更多……数据能力封装数据能力共享数据资源置换跨行业合作业务精准营销行业咨询分析更多……应用，自助，对内，对外目录：添加目标与架构目录32位置域产品1沃风云榜数据可视化4可视化平台规规划可视化平台介绍自助建模大数据能力展现内容规划数据范围展示大数据中心所拥有的数据范围、种类和规模。数据能力展现大数据中心整体计算资源和强大的处理能力。模型能力展现大数据中心高超的模型搭建能力。通过图文、动画、多媒体等方式，形象的展现联通大数据能力。功能划分能力产品专题案例模型能力数据范围数据能力计算储存用户360画像沃.风云榜热力图广告人流分析老板专题春运迁徙双旦促销更多……南都户外广告用户流失预测用户真实性更多……层级简洁，内容丰富大数据能力展现实例-数据范围大数据能力展现实例-数据能力大数据能力展现实例-模型能力大数据产品-用户画像展示内容规划1245自然属性标签用户性别用户年龄民族婚姻状态通讯行为标签用户状态在网时长使用行为产品种类接触渠道互联网部现有标签搜索行为访问行为使用偏好

APP使用收入和消费行为标签月薪收入

网购支出

信用卡支出生活缴费

通讯支出更多用户360画像户籍和证件生活和爱好标签购物需求和偏好6展现实例3社会属性标签用户身份健康需求和偏好人群特征教育需求和偏好居住位置理财需求和偏好工作位置更多社交信息大数据产品-用户画像展现实例1、号码输入框：输入用户手机进行查询。2、用户的基本信息：如年龄、身份、社交特征、用户状态、在网时长等。3、用户360画像：根据用户性别、年龄、消费情况等，为用户生成直观的用户画像。4、重要特征：左边为快捷点击栏，右边为详细内容，可通过下列菜单查看每个特征下的具体内容。5、勋章墙：根据用户特征为用户标识不同的勋章，如购物达人。123445大数据产品-用户画像要素规则1人物画像权重次序性别年龄可获取数据身份收入职业社交性别年龄建议使用数据身份收入职业社交1√√√

√√√◎◎◎2√√√

╳√√◎◎◎3√√√

╳╳√◎◎◎4√√╳

╳╳√◎◎◎5√√╳

╳╳╳◎◎6√╳√

√√√◎◎7√╳√

╳√√◎◎8√╳√

╳╳√◎◎9√╳╳

╳╳√◎◎10√╳╳

╳╳╳◎10╳╳╳

╳╳╳2人物勋章3人物特征通讯类应用类游戏类通讯特征消费特征位置特征数据分析专题展示内容框架以社会热点为抓手，深度挖掘用户特征，分析客户业务需求。前端专题展示数据接口后台管理外围系统页面展现效果管理模块专题管理模块模型管理模块专题模型固化模块经分系统BI系统老板在哪里国际常旅用户在哪里商圈人群分析谁是音乐发烧友宽带潜在用户在哪里网购达人都是谁国庆黄金周出行预测春运迁徙预测图十一出行分析用户终端使用情况分析转4G面面观其他专题……数据分析专题-栏目列表页1、搜索栏：可输入关键字进行搜索，搜索结果在右侧展现。2、分类栏：点击可查看相关分类的专题列表，现分为用户识别、预测分析、业务分析和特别专题四类。3、左下侧扩展栏：放置其他扩展内容。4、列表说明栏：说明下方专题是属于某一分类或关键字的搜索结

果，右上角显示该列表专题数量。5、专题列表：以豆腐块形式展现每一个数据分析专题，展现内容包括：封面、标题、更新日期、概述、其他功能（下载、收藏、分享）。6、列表分页功能：每页展现5个专题。123456