大数据平台建设方案技术交流

目录现状分析现状分析析规划思路规划思路产品设计产品设计成功案例成功案例干货附录干货附录建设现状：集团大数据平台建设现状现状分析现状分析理治无理治无各省大数据平台廊坊大数据平台乱散分各省大数据平台廊坊大数据平台乱散分州台建设背景：集团痛点数据治理数据治理应数据中台创新驱动2急需支持租户自助使用云化大数据相关资3保障数据安全开放通过持续研究和探索通过持续研究和探索，构建中国容器化大数据云平台，解决痛点问题问题总结：集团平台待改进需求总结平台架构数据汇聚数据处理数据治理数据开发数据应用系统运维数据安全整体目标：本次规划实现的整体目标基础产品基础产品资产产品应用类产品采治挖采治挖总体架构：集团云化集群技术架构租户A租户A租户B租户C租户D租户N……计算模块服务模块SparkSparkAlluxioAlluxioHDFS物理资源存储模块总体架构：技术特点-多集群和混合云节点扩容用户集群–内蒙用户集群–河南、山东用户集群–深圳添加用户集群–成都用户集群–AWS1用户集群–AWS2总体架构：技术特点-集群类型管理集群用户集群应用管理应用管理应用编排应用运行环境一致性应用运行环境一致性总体架构：技术特点-镜像仓库、镜像同步生产集群开发测试集群托管环境生产集群开发测试集群托管环境同城数据中心预发布集群共有云区异地灾备数据中心生产环境主数据中心策略复制策略复制策略复制策略复制总体架构：技术特点-资源管理、多网络方案总体架构：集团与各省份关系图集团云化集群廊坊大数据平台详单各省沉淀，计算指标数据同步集团云化集群廊坊大数据平台详单各省沉淀，计算指标数据同步查询服务适配:〉数据资产管理平台组件云化各省大数据平台…服务云化详单各省沉淀，:〉数据资产管理平台组件云化各省大数据平台…服务云化详单各省沉淀，计算指标数据同步建设背景：大数据与云计算的发展历程2006:Hadoop(HDFS+MapReduce),1980-20022003-20062006-20092009-20162017-2022萌芽阶段突破阶段成熟阶段应用阶段爆发阶段-大数据元年2010:OpenStack(IaaS)2009:vSphere(IaaS)2012:OracleCloud(Iaas/PaaS/SaaS)SaaS出现CaaS出现•大数据的目标是充分挖掘海量数据中的信息，以发现数据中的价值•云计算的目标是通过资源共享的方式更好地调用、扩展和管理计算和存储等方面的资源和能降低企业的IT成本•云计算可以为大数据平台的计算和存储提供资源层的灵活性•大数据组件部署到云平的便利和高效技术发展趋势：走向AI+Bigdata+Cloud融合v以海量数据存储、处理为主v平台难以维护，数据开发困难Bigdata2.0:vHadoop商业版出现vSQLonHadoop逐渐成熟v以批处理、流处理为主Bigdata3.0:v客户需求多元化v技术栈复杂化vABC走向融合QQSpecialization建设背景：中国构建了业界领先的大数据平台 向上服务对内生产，同时支撑价值开放运营技术引领资产化管理技术引领资产化管理存储计算能力孵化价值化运营顶层架构设计价值化运营顶层架构设计全域贯穿全域贯穿能力化输出统一数据模型向下完成5大类、全域数据汇聚建设背景：中国构建了业界领先的大数据平台数据中台开发测试数据治理应数据中台开发测试数据治理应(()1海量的计算能力、存储能力2PB级数据吞吐能力、统一数据服务能力3企业核心数据资产管理能力4助力数字化转型的服务型数据应用5可价值变现的产品型数据应用serverserver历程回顾：中国大数据平台建设l2016年至今，中国持续在大数据云平台建设方面投入力量最初阶段优化提升MysqlMysqlStormSpark……Hadoop……MysqlMysqlStormSpark……Hadoop……serverserverserverserverserverserver SparkStormmysqltensorflowHadoop时序数据库Caffeserverserverserverserverserver历程回顾：Kubernetesvs.Mesos通过研究、探索和实践，我们发现Kubernetes+Docker的技术路线更契合的实际需求。高高历程回顾：与Rancher的合作中国在搭建Kubernetes+Docker的容器化平台过程中，引入了Rancher部署/管理中国的微服务开发运维管理平台使用了RancherServer，通过图形化和RKE两种方式对多个租户的kubernetes集群进行部署和管理：•图形化部署和扩展集群•图形化节点、资源和容器监控•备份和容灾，提高集群可靠性Rancher具有丰富的容器化实施案例经验，是在支撑客户需求以及集群故障恢复方面的坚强后盾。Kubernetes作为开源产品，经常会有重大安全漏洞，Rancher都是率先发现并及时给出解决方案，为云平台的安全保驾护航。平台实践：整体介绍2018年，基于Kubernetes+Dock基于统一服务集成框架KubernetesServiceCatalog，集中管理、部署多类PaaS能力，包括大数据基础服务能力、中间件及数据库能力、数据集成工具能力、容器云能力、深度学习框架能力等，并支持灵活扩展。面向省分公司、子公司及内外部合作伙伴，实现大数据云化资源能力的自助开放，支持租户进行大数据平台建设、大数据加工处理、模型训练及应用的开发部署。创新孵化模型训练应用/微服务开发部署创新孵化模型训练应用/微服务开发部署某省经营分析系统l应用持续集成/部署租户某省大数据生产平台深度学习即服务cafe容器云服务数据集成工具即服务深度学习即服务cafe容器云服务数据集成工具即服务留中间件/数据库即服务RedisKafka大数据即服务统一服务集成框架（KubernetesServiceCatalog）Kubernetes+Docker资源管理资源调度资源隔离弹性伸缩安全管控负载均衡Kubernetes+Docker资源管理资源调度资源隔离弹性伸缩安全管控负载均衡平台实践：主要PaaS能力01大数据基础服务组件（原子组件+场景化组合）SparkZooKeeper信息检索数据仓库数据集市适用于面向部门级的数据分析业务，提供包括交互式分析引擎、OLAP实时计算数据挖掘平台实践：主要PaaS能力元数据管理云化ETL数据稽核管理caffe平台实践：技术架构租户A租户B租户C租户D…租户A租户B租户C租户D……租户N能力开放能力开放能力列表能力订购能力变更能力退订能力上架能力下架KubernetesKubernetesServiceCatalog深度学习框架深度学习框架大数据基础服务数据集成工具中间件及数据库三方服务扩展微服务开发部署理限流/降级/资源管理资源调度资源隔离服务编排弹性伸缩安全管控负载均衡平台实践：技术架构l运用统一集成框架KubernetesServiceCatalog，实现异构服务组件的统一纳管、自助拉起和在线开放。使用业界标准的OpenServiceBrokerAPI，支持第三方组件的接入和扩展。KubernetesKubernetesOpenOpenServiceBrokerAPIKubernetesAPIServerKubernetesAPIServerServicecatalogAPIServerServicecatalogControllerSServicecatalogControllerScaffe平台实践：支持场景租户整体应用场景概览u省分大数据平台构建u大数据加工处理u模型训练u容器化应用/服务开发部署中国容器化大数据云平台ll租户自助构建大数据平台，进行数据生产l提供大数据相关服务组件，供租户进行数据加工处理l租户应用/微服务的开发和容器化部署平台实践：安全隔离容器化大数据云平台保障租户资源隔离、空间独立、数据加工过程私密、互不干扰，为租户提服务隔离资源隔离资源隔离业务隔离业务隔离数据隔离数据隔离租户隔离和控制平台实践：技术挑战平台实践：技术挑战–多样化PaaS服务集成容器化大数据云平台需要快速集成大数据类、数据库及中间件类、数据集成工具类等多种PaaS能力。没有统一的集成接口。KubernetesServiceCatalogBrokerAPIBrokerAPI1.基于业界先进的Open标准化接口快速对接各种PaaS组件平台，汇聚各种为租户赋能。2.基于KubernetesService和自定义资源原生技术实现对服务从开通到退订的全生命周期管理。平台实践：技术挑战–Kubernetes集群间网络互通遇到问题：需在多个Kubernetes集群部署各类PaaS能力。大数据组件在容器化部署之后，服务相关的所有POD都是容器网络，自身暴露的通信端口在集群外都无法访问，导致应用通过大数据组件原生的API调用时遇到问题。解决方案：通过定制flanneld网络插件，两个K8S集群共用一决K8s集群间的网络互通问题。 集群二集群一平台实践：技术挑战–Hadoop容器化服务拆分遇到问题：采用多租户的方式对外提供大数据服务，每个租户都是隔离的。这就要求需要在一个物理集群上能够部署多套Hadoop集群。挑战1.挑战2.挑战3.如何自动完成角色规划？服务拆分之后，如何解决服务依赖以及服务发现问题？解决方案：1.将Hadoop按组件拆分成最小单位，确保能够独立部署；2.通过配置亲和/反亲和调度算法保证同一个集群的各个服务能够合理部署，比如：同一集群的两个Namenode不会调度在同一个物理机上；3.拆分完之后解决，服务之间的依赖和服务发现问题 ✓服务之间通过DNS和配置注入进行服务发现✓集群外的访问通过 --NodePort平台实践：技术挑战–Hadoop容器化计算本地化物理机部署的Nodemanger和Spark的Worker节点与Datanode都在相同的物理机上。•通过判断IP是否一致决定是否进行本地读写容器化部署挑战1：Executor与Datanode数据不同pod,如何保证同一个集群的Executor和Datanode分布在相同的物理主机上？平台实践：技术挑战–Hadoop容器化计算本地化第一步：采用K8S亲和性调度策略，确保统一集群的计算服务于Datanode调度到相同的物理机列表里。第二步：更改Yarn/Spark调度逻辑，判断对应的计算切片是否在同一台host上。第三步：多个pod共享Domainsocket，而且每个租户的hdfs的domainsocket互相独立。 NamenodeSchedulerNamenodeScheduler平台实践：建设成效省分租户44个子公司租户入驻集团业务部门2部署4000余个容器服务实例，对100,000个事件跟踪分析月均执行MR/Spark任务162,455个，执行数据调度任务发展委员会平台实践：后续探索方向-FaaS与云平台“Serveless”的初衷是帮助开发者摆脱运行后端应用程序所需的服务器设备的设置和管理工作，“FaaS”将“Serveless”这一框架提高到一个全新的层面，为云中运行的应用程序提供了一种全新的系统体系结构，不需要在服务器上持续运行进程以等待HTTP请求或API调用，而是可以通过某种事件机制触发代码的执行。上层快速底层灵活软件平台(SaaS)应用平台容器平台(CaaS)基础设施平台(IaaS)客户端-认证服务数据库-认证服务数据库API网关API网关数据库优势•降低成本：开发者不需要为云中运行的整个服务器付费，只需要为执行代码过程中消耗的资源付费•缩放能力：可以通过事件触发的方式轻松地对不同服务进行缩放，而无须考虑基础结构的运维和维护平台实践：后续探索方向-物联网与云平台物联网和云计算以及大数据是密不可分的：•云平台为大数据提供计算资源和海量数据的存储能力•云平台为物联网应用提供快速构建和集成的能力•物联网设备产生的海量数据需要大数据平台进行处理和分析持久化存储物联网通过信息传感设备，按约定的协议物联网和云计算以及大数据是密不可分的：•云平台为大数据提供计算资源和海量数据的存储能力•云平台为物联网应用提供快速构建和集成的能力•物联网设备产生的海量数据需要大数据平台进行处理和分析持久化存储数据管理数据管理设备管理 平台实践：总结与展望l建设面向大数据处理的统一云化资源池，提供丰富的PaaS组件，为大数据平台构建和应用开发部署提供快捷、高效的环境l依托容器化大数据云平台，沉淀一系列技术能力及组件集合，推进企业核心数据上云，构建共性能力及通用服务，打造企业级数据中台，赋能前端应用及BU团队快速创新，支撑业务发展赋能前台、创新发展赋能前台、创新发展能力汇聚、协同运营打造企业级数据中台多样化能力建设与开放互联网化协同运营能力汇聚、协同运营打造企业级数据中台多样化能力建设与开放互联网化协同运营流处理框架批处理框架深度学习框架消息队列异构资源纳管资源隔离资源调度异构资源纳管资源隔离资源调度智能管理、提升效能容器化大数据云平台（Kubernetes+Docker）产品介绍：产品架构举措：构建平台数据资产管控能力，打造数据驱动能力，促进集团数字化转型，引导数据集中运营，实现数据变现功能层运营层功能层运营层质量规则管理质量规则管理质量规则检查质量问题管理 J JOracle生产平台…产品介绍：资产注册管理a.支撑：模型的右键新增功能、导入、导出、保存模型、另存为图片、单个分发、批量分发、a.支撑：实现对企业的job开发流程定义变量：按秒、按分、按天、按月、按定a.支撑注册的FTP服务器IP端口注册和支撑：集群名称、用户组、系统目录管理功支撑：集群名称、用户组、产品租户的管理功支撑：集群的产品租户、个人租户和个人租户组注产品介绍：资产注册管理-产品效果图产品介绍：建模开发、数说工厂、统一调度a.实现采集的源端系统接口注册管理功能：新建、a.注册管理采集的源端数据业务系统的信息：新建、a.支撑语义的ETL配置b.实现过程表、临时表加工逻辑配置c.实现调度参数全局变量配置d.实现job的新增、保存a.实现源端数据源是oracle的数据进行抽取、装载、落地、加a.实现源端数据源是mysql的数据进行抽取、装载、落地、加a.实现数据质量组件的拖拽开发，在组件里面可以选稽核指标组件和稽核规则组件b.实现组件的依赖连线，并实现开发面板实现手工重调任务功能，实现未运行、运行中、运行失败、运行成功，等待运行，几种状态的挂起功能，唤产品介绍：建模开发、数说工厂、统一调度-产品效果图度、JDBC实用工具、数据质量、数据迁移、格式化组件产品特点：跨集群用户管理中心集群集群-ALIYUN产品特点：统一调度，监控下沉jobspodjobspodNodepod产品特点：安全管理•镜像安全漏洞扫描••镜像安全漏洞扫描•镜像配置缺陷管理•镜像中有恶意软件•镜像中有明文密钥•使用了非信任镜像•仓库中有陈旧镜像•访问敏感数据鉴权•不安全连接和访问•容器运行时漏洞管理•容器网络访问无隔离•容器运行时配置缺陷•容器承载的应用漏洞•平台中存有流氓容器品网络安全•无界的管理员权限•授权访问不够严格•品网络安全•无界的管理员权限•授权访问不够严格•敏感度差异容器负载混合•节点间互信关系•操作日志审计•业务间访问通断控制•非同类网络流量分离•负载均衡的加密访问•基于SSL传输加密e•宿主机可被攻击面大•容器共享kernel风险•宿主机操作系统漏洞•宿主机用户访问权限•宿主机文件系统篡改案例一：某省超大规模集群建设DCN网机房1机房3机房1机房3SparkImpala SparkStreaming/FlinkHDFS案例二：某省电信全域数据融合建设元数据覆盖度从30%上升至98%人员培训周期由3个月缩短至5天元数据覆盖度从30%上升至98%人员培训周期由3个月缩短至5天质量持续改进问题查证率提高50%节约人力资源成本30%类别末端原因人员缺少对现有系统学习手段离职或变动数据源数据自相矛盾复杂规则设有被充分理解变更带来质量问题开发过程时间太紧张业务规则理解错误需求理解不准确缺少测试标准和方法质量管理质量监控规则不好把握系统构架设计中缺少质量考虑质量监控带来过多性能开销1234优化构架质量控制案例二：某省电信全域数据融合建设通过企业级数据中心对BOM域数据汇聚，建立三域融合的一站式指标管理体系，为各级管理者、分析人员、一线人员提供全面、快速应用服务支持………………客户服务客户服务…………l基站断站率业务指标案例二：某省电信全域数据融合建设整体规划思路：融入数据资产理念的一张皮、两条线和全覆盖的数据中心元数据管理元数据管理标准化管理生命周期管理数据质量管理“管理”和“执行”一体化以标准化为核心，构建一个大数据的“操作系统”数据岗位数据岗位CTO|管理员|开发人员|质量管理员…加工质检采集…加工质检采集关键因素标准化组件化可视化建模运营管理者生态规则制订运营管理者生态规则制订应用开发者应用开发者构建应用程序应用程序形成容器开发企业级数据整合提取数据各业务部门应用使用提取数据各业务部门应用使用平台使用者平台使用者平台设计、开发•统一数据模型•创建共享组件•创建自助式门户数据湖-传统架构的变迁传统数据仓库psps?新一代大数据中心TransactiowarehousessTransactiowarehousess Streamss为什么要引入数据湖？现状集团“1+N”战略，要求四川电信作为先进省分保持数据中心架构稳定性和前瞻性数据湖，以低成本收集并存储任何规模、所有类型的数据并安全提供使用，符合中国电信对”N”省分数据中心建设高安全、耐久、可用、可扩展性的要求光网、无线数据及企业外部数据亟待收集，对非（半）结构化数据、流式数据的处理缺乏经验数据湖，支持对非结构化、流式数据进行对象存储和持久化，并支持数据对象的快速检索、实时访问数据汇聚的复杂度增加，面临数据接口类型超过10种，前端业务要求数据中心具备实时数据处理能力数据湖，可快速轻松地执行新类型的数据统一汇聚和分析，支持新接口类型包括如corba、socket、snmp、tmf、SFTP、SSH等，支持秒级、毫秒级数据处理能力数据资产管理的难度增加，面临全生态数据（B\O\M域，网络、外部等）进行的统一、有效管理，无成例可循数据湖，基于“注册”机制，任何入湖的数据都将注册到资产目录进行统一管理，同时具备自行更新和管理数据对象索引、元数据的能力，方便进行开放使用生态圈融合业务发展，驱动数据资产价值的发掘，对数据中心具备对复杂事件的处理和分析能力数据湖，适合lambda架构设计，支持使用一系列分析引擎，用于高级数据分析、实时流式+批量数据复合分析、预测性分析、人工智能(AI)和机器学习等场景如何构建数据湖？44将数据湖开放给用户程序化的查询目录将数据湖开放给用户程序化的查询目录确保授权是得到认可的3数据加密保护身份验证和授权访问控制和限制2元数据湖2用于概括性的统计和数据数据发现和管理的简化模型采集和存储高可靠按照输入源存储原数据支持任何类型的数据价格低廉数据湖—资产注册即采集高可靠按照输入源存储原数据支持任何类型的数据价格低廉ConnectorConnectorSnowballsAWSDirectConnectAmazonKinesisFirehoseS3TransferAccelerationAWSStorageGatewayAWS作为公有云提供面向互联网的数据安全、数据高吞吐量、数据加速传输的基础设施能力，而采集能力实现使用者自定义完成某电信数据中心面向企业级应用支撑（私有云需要提供面向企业级统一的数据入湖规范和资产注册能力，同时也提供企业级统一的采集能力，实现资产注册即采集数据源企业级统一的Collect数据资产管控平台数据源企业级统一的Collect数据资产管控平台统一数据入湖资产注册适配平台统一提供Databases、Files、Streams类采集组件，并通过“数据管控API”将采集的数据资产信息，自动注册到数据资产；特殊接口可继承“自定义”采集框架，完成自定义采集方式、逻辑实现，但需注册来源与格式、入湖目标与格式信息。数据湖—数据源接入保障为保障数据中心各业务系统运行的稳定性与可靠性，数据源接入层面应该优先要建立起完善的保障机制，目前，数据中心已经编制了与各系统接入的接口规范，但规范落地推进相对缓慢，无法满足业务保障的要求。制定规范题存在的问为保障数据中心各业务系统运行的稳定性与可靠性，数据源接入层面应该优先要建立起完善的保障机制，目前，数据中心已经编制了与各系统接入的接口规范，但规范落地推进相对缓慢，无法满足业务保障的要求。制定规范题存在的问系统 握手机制保障系统握手机制保障源握手机制系统保障系统采集和存储1、源系统提供数据不稳定，导致前端业务使用数据不及时，不准确。2、接口建立不规范，无相互握手机制，数据提供延迟，导致数据中心补录数据流程繁琐、复杂。3、接口规范推进困难，源系统配合改造力度低下。数据湖—数据湖的存储能力高可靠按照输入源存储原数据支持任何类型的数据价格低廉Aws存储架构AmazonElasticsearchAmazonElasticsearchServiceSearchElastiCacAmazonDynamoDElastiCacAmazonDynamoDBAccessAmazonGlacierArchiveAmazonGlacierArchiveAmazonS3AmazonRDSAmazonAmazonRDSAmazonRedshiftAmazonMachineLearningAmazon ElasticMapReduceQueryProcessQueryProcess什么类型的数据存储在数据湖中？2.半结构化数据3.结构化数据数据中心的存储架构elasticsearch.Archive数据湖—数据湖的目录与搜索处理和批处理统一视图的能力。元数据湖用于概括性的统计和数据分类管理数据发现和管理的简化模型22：完善资产管理平台在“数据湖”层面“数据目录与注册”的管控能力结构化数据的查询和检索能力数据湖—批处理和流处理的融合-Lambda架构，助力牟电信构建敏捷化的大数据平台。位置服务场景：位置信令数据位置信令全量信息用户历史轨迹视图批处理（循环重新计算）批处理层用户历史轨迹视图1用户历史轨迹视图2批处理视图查询获取用户轨迹视图合并服务层实时计算视图用户实时轨迹视图1用户实时轨迹视图2实时计算（增量计算）用户位置流处理用户实时轨迹视图当前大数据平台随着数据量的快速增长，数据种类多样化，应用更加丰富，导致数据分析的时架构，助力牟电信构建敏捷化的大数据平台。位置服务场景：位置信令数据位置信令全量信息用户历史轨迹视图批处理（循环重新计算）批处理层用户历史轨迹视图1用户历史轨迹视图2批处理视图查询获取用户轨迹视图合并服务层实时计算视图用户实时轨迹视图1用户实时轨迹视图2实时计算（增量计算）用户位置流处理用户实时轨迹视图Lambda框架介绍：1.Lambda整合离线计算和实时计算，集成2.Lambda实现了真正的流处理、批处理混合，同时统一了编程接口，使得整体处理架构简单化。3.架构组件选型：根据四川电信业务特点，实时流数据采用Kafka框架，批处理层存储采用数据湖HDFS；计算采用MapReduce或者Spark；实时处理层采取Storm或者SparkStreaming，存储采用Redis；服务层查询少量的结果数据数据湖—非结构数据检索工具数据源结构化数据图像文件数据源结构化数据图像文件网页文件日志声音文件其他知识库检索平台统一计算Solr（全文检索工具）n数据检索工具数据源包括结构化数据、半结构化数据、非结构化数据，主要功能包括分词检索、排序、字段组合等功能。统一存储Hbase（小文件、结构化数据）数据湖—授权33数据加密保护身份验证和授权访问控制和限制•Kerberos•knox建立完整的数据湖安全体系•Ranger•Ranger•Ranger•Solr•HDFS通过Ambari，Ranger实现集中配置和管理•数据传输•数据存储数据湖—服务API能力与UI将数据湖开放给用户程序化的查询目录开放搜索API确保授权是得到认可的4sAWSsAWS数据湖—数据湖内数据的API封装API路由结果数据格式转换认证与权限调用API返回结果数据结果数据脱敏加密数据湖访问控制“API封装“围绕认证与权限检验，访问控制，数据脱敏等过程，通过注册信息，针对结果数据设置个性化的脱敏规则及用户数据授权规则，在实际调用时即可对返回数据进行安全控制API路由结果数据格式转换认证与权限调用API返回结果数据结果数据脱敏加密数据湖访问控制数据湖的API封装过程数据湖—统一的平台可视化访问界面OCUE能做什么？博瑞得大数据平台用户操作界面（OCUE）是面向大数据平台用户的可视化操作界面。用户可以在浏览器端的Web控制台上与Hadoop集群进行交互分析处理数据，例如操作HDFS上的数据，运行MapReduceJob等。虽然大数据平台各组件都有自己的使用方式和开发接口，比如Hive提供的命令行终端，但是当用户需要访问多个组件时，需要打开不同的终端或者界面，需要登录不同的系统。OCUE统一了各个项目的开发方式，提供了一个web的界面来开发和调试任务，OCUE能做什么？1，访问HDFS和文件浏览2，通过web调试和开发hive以及数据结果展示3，查询solr和结果展示，报表生成4，通过web调试和开发impala交互式SQLQuery7，oozie任务的开发，监控，和工作流协调调度8，Hbase数据查询和修改，数据展示10，MapReduce任务进度查看，日志追踪11，创建和提交MapReduce，Streaming，Javajob任务12，Sqoop2的开发和调试13，Zookeeper的浏览和编辑数据湖—专题与应用：风控专题宽带虚假用户识别宽带虚假用户识别专题分析模型支撑：为利剑、宽带、ITV、体验卡建立风险数据模型，协助业管部门完成风险分析及清单下发。专题分析专题分析：根据分析结果进行可视化专题的设计，通过不同视角对风险进行监控和识别。深度洞察：利用数据挖掘技术，对宽带虚假用户的识别，协助业务部门完成宽带风险的监控。目标：建立完整风控体制，管控信息数据的采集、传递、使用和存储。建立智能风控体系，实现各级业务部门对客户价值、质量管理。数据湖—专题与应用：收入保障收入保障专业及深度应用用户收入全视图监控报表及分析深度应用专业及深度应用用户收入全视图监控报表及分析深度应用代理商CRM计费结算用户收入全视图监控报表及分析收入预测收入预测发展效益发展效益活动评估活动评估决策支撑决策支撑数据湖—专题与应用：IPTV专题分析整合基础上，利用资产管理平台的各具有跨系统、准实时、和面向生产的业务目标业务目标平台统一整合整合IPTV业务平台数据，进行汇总和整合，以构建多层次业务分析体系，多维度的业务分析模型数据汇总分析基本数据分析功能，包含客户统一视图，用户行为分析，信息查询，常规的统计分析功能以及可视化动态展现功能业务价值挖掘为营销提供精准运营管理，通过用户画像，根据用户兴趣内容和行为画像进行推荐，服务用户，使用户能体验到更个性的差异化服务ITV手机门户门户专题实时大屏推荐服务数据应用数据应用模块……资产管理资产管理平台数据湖—专题与应用：光网及无线专题分析在光网、无线大数据接入的基础上，结合数据中心资产管理平台的各项能力，构建可视化的光网、无线专题分析，通过报表、可视化图形和自动生成分析报告的方式，为业务运营提供数据分析依据。应用层模型层网元事态感知模型网元事态感知模型网元差异化分析模型网元差异化分析模型网元健康度评估模型网元健康度评估模型……数据湖—专题与应用：对作业计划的电子运维提供数据与能力支撑采集规则及指标规则在作业计划管理，调用资产管理平台“抽取语义”与“计算语义”能力完成性能指标采集加工，为作业计划中的电子运维的“计划呈现结果应用”与“计划巡检派单”提供数据支撑计划基础设备生成设备指标项目计算计划基础设备生成设备指标项目计算公式后台截取计算确定计划作业计划计划呈现结果查询计划巡检派单集中操作集中操作数据中心数据湖计算语义数据中心数据湖计算语义抽取语义工统一采集适配（设备资料、各项指标采集等）管为什么要引入数据资产管理？核心问题：数据混乱、数据盲区、数据缺乏安全管控、无法支撑上层应用、无法数据运营、无法挖掘数据价值实现数据变现。aws核心问题：数据被盗无法溯源、个人信息泄密、数据无权限层级控制、数据被攻击篡改无法追责aws核心问题：数据被盗无法溯源、个人信息泄密、数据无权限层级控制、数据被攻击篡改无法追责数据资产管理能做什么？金融金融型数字政府制造交通.制造交通.能源零售能源零售中台建设数据安全平台规划一站式AI建模中台建设数据安全平台规划一站式AI建模大数据平台规划行业专题建模数据采集数据安全治理数据服务保护数仓建模开发数字企业规划平台搭建开发行业专题建模数据采集数据安全治理数据服务保护数仓建模开发数字企业规划平台搭建开发智慧城市建设…平台运维托管智慧城市建设…平台运维托管数据指标集市安全分析感知大数据技术培训数据指标集市安全分析感知大数据技术培训产品2021年总体规划：产品能做什么？数据安全全生命周期管理平台大数据智能决策平台数据安全全生命周期管理平台大数据智能决策平台专题建模大数据平台集成服务行业垂直数据采集组件化DPI+全行业数据采集覆盖运营商、行业垂直数据采集组件化DPI+全行业数据采集覆盖运营商、可嵌入网络管道、边缘计算设备及家庭、政企网关、虚拟化、云化网络、智慧园区、数字化行业采集全行业数据融合运营商DPI•采集组件解析组件识别组件•处理组件•聚合组件•输出组件产品介绍一：一站式大数据平台集成服务大数据平台集成服务产品介绍:主要面向全行业大型或特大型行业企业，如电信/政府/能源/交通等。提供平台设计、规划、搭建、定制开产品价值：主要价值是为企业客户提供平台咨询、规划、建设、运维、定制开发、技术培训等一站式服务。向企业上层应用提供数据支撑、••平台运维•数据维护•技术培训适用已有平台项目，模块按需部署升级+维护+技术培训+平台托管服务平台建设平台建设•设计规划•平台搭建•定制开发适用无平台全新建设项目，设计规划+平台搭建+定制开发服务l设计规划：根据数据规模、机房位置、设备配置、应用需求进行技术和架构选型，并输出平台建设方案，技术具有前瞻性，提供企业顶层设计规划服l平台搭建：根据平台建设方案，搭建大数据平台，包括平台服务器配置、数据接入、数据存储，并且根据应用需求搭建离线计算引擎和流计算引擎。l定制开发：提供定制开发的能力，例如应用孵化、预统模型、数据合成、平台托管平台托管l平台运维：对完成建设后的大数据平台进行运维保障，提供7*24小时服务，监控平台的服务、数据、权限、任务和租户。l数据维护：根据业务对数据的使用，分析数据访问量和对数据的使用情况，对数据存储、使用进行统一监控和维l技术培训:为客户提供技术培训，包括大数据原理、架构、组件、前沿技术，也可提供人力外派咨询服务。产品介绍二：数据安全全生命周期管理平台数据安全全生命周期管理平台:主要面向大型或特运营层运营层运营商大型企业数字政府物联网数字政府运营商数据资产应用运营商大型企业数字政府物联网数字政府运营商数据资产应用数字政府智慧教育运营商功能层功能层数据处理类|数据交换类|文件操作类|数据查询类|数据安全类|(函数适配器)采集适配层___-------"___-------"达梦数据库、人大金仓数据库、Oracle、SQLServer、产品介绍三：一站式大数据平台集成服务地下空间安全治理大脑…智慧城市治理大脑消防安全治理大脑地下空间安全治理大脑…智慧城市治理大脑消防安全治理大脑智能决策平台数据智能决策平台数据层语义仓库数说工厂