大数据中心建设方案汇报

大数据中心建设方案提纲A.总体建设方案B1.大数据应用体系B2.数据服务体系方案B3.大数据运营管理体系C.项目实施管理大数据平台的定位起一个可以为各项业务应用提供服务的跨域大保数据价值在市场经营、业务运营、客户服大数据平台的建设目标前向支撑前向支撑横向数据横向数据除企业内的“信息孤岛”大数据平台体系架构务平台，实现多主体、多应用的自主定制、指引投资规划………提升客户价值提升服务能力提升销售能力指引投资规划………提升客户价值提升服务能力提升销售能力大数据平台大数据应用体系大数据应用体系大数据应用平台大数据服务体系大数据服务体系大数据采集交换平台大数据整合服务平台大数据大数据管控体系大数据运营管控平台市场分析报告用户行为分析报告市场分析报告用户行为分析报告 大数据掘别析大数据掘别析传统数据借鉴互联网架构，践行去IOE理念，引入成熟开源框架，基于x86平台构建分布式计算与存储平台，保障系统可靠性（High-Availability）和可伸缩性(Scale-Out)基础，同时大幅降低系统的总拥有成本（TOC）。大数据平台数据存储规划企业数据中心预计存储总容量XXXTB，其中大数据平台XXXTB，经分平台XXXTB，GP精细化营销平台XXXTB。信令、WLAN上网日志、用户通话清单、资料等。•存储数据：存储传统的结构化（除详单类数据）、轻量级数据•存储数据：存储传统的结构化（除详单类数据）、轻量级数据营销标签t!营销反馈信息分析基础数据企业资质、产品信息用户资料、维表等分析数据客户标签、客户群信息用户价值、营销效益营销标签t!营销反馈信息分析基础数据企业资质、产品信息用户资料、维表等分析数据客户标签、客户群信息用户价值、营销效益合作运营信息成本信息、员工信息网页信息小区价值、用户价值、网络投诉…口、WAP网管、基业务受理信息、客户信息、消费信息、产品信息、账务信息站信息大数据平台应用部署架构机器数量：2台机器数量：2台PC，软件实现互备部署应用：部署ETL应用程序2、Hadoop数据处理集群机器数量：14台PC，2namenode，12datanode部署应用：部署清单数据处理、互联网行为解析、互联网数据分析、数据挖掘等处理程序3、网页信息采集服务器(爬虫)机器数量：5台PC，3台规则库，2台爬取部署应用：部署爬虫应用，抓去互联网网页信息4、流数据处理服务器(Storm)机器数量：2台PC部署应用：部署流数据处理程序5、对外查询数据服务器机器数量：4台PC部署应用：按照Redis数据库，提供对外高并发实时查询服务6、应用服务器机器数量：3台PC，2台中间件，1台数据服务器部署应用：部署weblogic中间件，应用软件配置数据、应用结果数据等。7、接口服务器机器数量：4台PC，2对内接口，2对外接口部署应用：存放联通内部数据接口、联通同外部数据接口数据Hadoop数据处理集群(14)、网页信息采集(5)、流数据处理(2)、对外查询服务(4)、应用服务器(3)、接口服务器(4)。提纲A.总体建设方案B1.大数据应用体系B2.数据服务体系方案B3.大数据运营管理体系C.项目实施管理应用体系建设目标对外应用 数据合作运营基于大数据平台，充分发挥企业大数据的能力与价值，向上提供数据产品，支撑对内应用和对外应用，向下满足业务需求，对外应用 数据合作运营管理类应用管理类应用对内应用 分析类应用营销/维系类应用营销/维系类应用向上提供数据产品，向下满足业务需求向上提供数据产品，向下满足业务需求大数据平台采集、整合、存储、挖掘、运营、分发、质营销平台……信令互联网↓营销平台……信令互联网经分应用体系总体框架对内应用对外应用对内应用对外应用应用层数据合作运营分析类营销/维系类应用层数据合作运营分析类营销/维系类管理类互联网标签用户基础类标签用户通信行为类标签用户位置类标签互联网标签用户基础类标签用户通信行为类标签用户位置类标签采集、加工、整合、存储、挖掘、运营、分发、质量大数据平台数据标签数据整合对内应用——存量运营应用功能架构维系APP精细化营销联通助手应用门户Web经分维系APP精细化营销联通助手应用门户Web经分数据应用……数据应用……数据标签数据标签……数据模型数据模型…采集、整合、存储、挖掘、运营、分发、质量、安全、…对内应用——存量运营场景举例套餐理财推荐活动场景套餐理财推荐活动场景…渠道执行营业厅短信…渠道执行数据处理数据采集数据处理数据采集…大数据平台采集、整合、存储、挖掘、运营、分发、质量大数据平台采集、整合、存储、挖掘、运营、分发、质量个个个个个个个网元网元BSS客服经分营销平台…流程解析流程解析对内应用—流量经营应用功能架构运营分析运营分析…………网络资源分析区域流量分析手机终端特征网络资源分析区域流量分析手机终端特征应用内容特征终端特征分析终端应用对比应用软件访问内容价值评估内容分类型采集、整合、存储、挖掘、运营、分发、质量、安全、…对内应用—流量经营演示场景流量提升、终端推荐活动流量提升、终端推荐活动渠道执行…渠道执行营业厅短信采集、整合、存储、挖掘、运营、分发、质量、安全、…个个个个采集、整合、存储、挖掘、运营、分发、质量、安全、…个个个个营销平台流程解析流程解析对外应用—O2O应用推荐功能架构功能架构：大数据平台对用户的位置、业务、基础信息等维度的组合分析生成数据标签推送给营销应用进行营线上互联网渠道微信、微博、手厅、短厅、线上互联网渠道微信、微博、手厅、短厅、邮件等推送系统线下实体渠道触摸屏、手机、PAD等Wifi位置营销商圈营销营销应用Wifi位置营销商圈营销营销应用…智慧营业厅……数据标签…大数据平台采集、整合、存储、挖掘、运营、分发、质量、安全、…位置识别Wifi登陆位置Wifi登陆位置二维码扫描APP注册通对外应用—智慧营业厅演示场景通过对用户到访营业厅进行通过对用户到访营业厅进行WIFI连接、二维码扫描、APP注册等信息发现用户的到厅行为，并合理利用大数据平台的数据采集、整合、存储、挖掘、分析能力，了解用户的需求，最终实现推送用户可能需要的产品。算算提纲A.总体建设方案B1.大数据应用体系B2.数据服务体系方案B3.大数据运营管理体系C.项目实施管理大数据服务体系架构询表传统数据析大数据别掘询表传统数据析大数据别掘大数据服务体系由数据采集数据采集交换平台：负责对数据整合服务平台：源数据采集模块：支持数据的传输、解析、压缩/采集模块：支持数据的传输、解析、压缩/密/解密、数据校验、清洗、合并、关联和汇本转换功能。支持文件、表等多种数据格式理维护成本低.数据采集交换平台——数据源引入计划数据范围扩展的原则：按照应用/需求驱动数据范围扩展的原则：按照应用/需求驱动为原则、高价值数据优先原则、用户相关数据优先原则数据范围扩展的目标：近期以形成用户全视图、企业运营全视图为目标；中远期逐步涵盖企业全部的OCS据已采集本次采集中远期采集数据整合——多处理框架的混搭架构•存储：用户资料类、用户标签•计算：多表关联数据汇总、基•存储：用户资料类、用户标签•计算：多表关联数据汇总、基位置信令、WLAN上网日志）和复•计算：负责非结构化和海量数据处•存储：用于用户的位置信令•计算：直接接收通过事件触•存储：用于用户的位置信令•计算：直接接收通过事件触算大数据中心内部数据流向⑦内容分析博瑞得Gn口信令文件合并文件采集文件校验预处理文件切分①文件上传!⑥上网日志⑤话单④用户资料、账单数据⑧待爬取日志内容识别网页解析分类日志大数据运维管控平台⑦内容分析博瑞得Gn口信令文件合并文件采集文件校验预处理文件切分①文件上传!⑥上网日志⑤话单④用户资料、账单数据⑧待爬取日志内容识别网页解析分类日志大数据运维管控平台调度监控运维数据管理运维库配置信息同步⑮C-------------------------------数据源B域数据B域数据博瑞得博瑞得A口信令③②HTTP和WAP话单非HTTP③②HTTP和WAP话单数据稽核⑩营销数据集市数据稽核⑩营销数据集市（（Hadoop大数据处理接口层接口适配层。⑨整合层仓库层－明细⑩中间层仓库层－汇总⑬接口层接口适配层。⑨整合层仓库层－明细⑩中间层仓库层－汇总⑬置同步⑪应用层标签数据通用函数层分析数据集市（Oracle）应用库自助服务工具外部应用数据变现内部应用维系挽留分析报表销售经营分析收入稽核数据服务管理数据封装标准模型非标准模型数据服务的功能架构自助服务工具外部应用数据变现内部应用维系挽留分析报表销售经营分析收入稽核数据服务管理数据封装标准模型非标准模型数据封装：利用标准模型和数据服务管理：对数据服务实时性数据周期性数据实时性数据数据服务实现方案以满足企业内部多部门、合作伙伴与第三方的使用为要求以满足企业内部多部门、合作伙伴与第三方的使用为要求，以计算中心和存储中心能力为基础，通过封装完整的服务能力，实现能力开放，对内形成信息资产支撑科学运营，对外与合作伙伴挖掘商业潜力。统一接入/集成服务管理统一接入/集成服务管理23服务内容223服务内容23将响应数据通过确定的数据n应用功能服务n数据服务标准SQL提纲A.总体建设方案B1.大数据应用体系B2.数据服务体系方案B3.大数据运营管理体系C.项目实施管理大数据管理体系通过将企业生产经营，内部管理，外部情报等信息进行常态化收集，并对数据进行整合、加工形成信息资产，向企业内和外部系统提供决策参考知识。“更好的数据意味着更好的决策”，因此需要对数据进行有效的管理从而保障平台提供数据服务的品质，促进经分系统的健康发展与平稳运行。可靠性数据·一致性安全来龙去脉我们还能否利用数据做“聪明的决定”？？决策人员管理人员决策人员管理人员财务人员营销人员财务人员营销人员一线人员分析人员客服人员运营人员一线人员分析人员客服人员运营人员数据管理现状一缺乏整合、各自为战数据是江苏联通大数据中心的核心，对数据的治理需要在对数据充分认知的基础上综合考虑，而当前的3数据治理手段各自为战，没有形成合力。322 数据质量数据资产管理调度系统 表1金. 数据质量数据资产管理调度系统 表1金.整元数据系统“后知后觉”的管理手段导致只有基础的描述信息元数据系统“后知后觉”的管理手段导致只有基础的描述信息1优化数据治理框架，统一数据描述标准和开发框架422222277331615116151.核心管控不存放数据的描述信息，数据描述信息统一在元数据系统中描述，其它管控功能调用元数据获取数据相关描述信息2.数据开发集过程中，以URL嵌入的方式调用生命周期管理配置、数据质量配置、数据安全的配置界面方式来完成新增数据的核心管控策略的配置3.数据开发过程需要定义数据，数据定义在元信息保存数据系统中；各种生命周期、质量、安全等策略配置信息保存在元数据系统中4.数据开发管理依据配置内容生成作业，并调用调度工具设置作业的启动、执行周期5.调度工具依据作业信息执行作业任务，调用核心管控功能在数据加工的同时对数据进行治理6.依据对数据资产分析结论对数据管控策略进行调整优化。7.统一门户调用元数据进行数据可视化展现完善的运维管控平台，保障运维管理的健康运行通过对数据治理、开发管理、平台运营的有效管控通过对数据治理、开发管理、平台运营的有效管控，实现数据治理集中化、平台运营体系化、系统建设与运营同步化，最终保障平台提供数据服务的品质，促进数据中心平稳运行，健康发展。去隐私规则设置去隐私规