四川电信企业级大数据中心整体规划相关两份资料

四川电信企业级大数据中心整体规划让数据产生美！MaketheDataWonderful!目录行业标杆重点措施规划思路回顾总结亚马逊与数据湖AWS在云上为企业构建数据湖提供服务收集和存储任何类型的数据，在任何规模，并以低成本保护数据并防止未经授权的访问目录，搜索，并在中央存储库中查找相关数据。快速轻松地执行新类型的数据分析使用广泛的分析引擎进行临时分析，实时流，预测分析，人工智能（AI）和机器学习AWS上的数据湖可以帮助您AmazonKinesisAmazonS3AmazonGlacierIAMEncryptedDataSecurityTokenServiceAWSLambdaSearchIndexMetadataIndexAPIGatewayUsersUI-ElasticBeanstalkKMSCollect

&StoreCatalogue&SearchEntitlements&AccessControlsAPIs&UI数据湖（DataLake）的概念在2011年提出后被Gartner、哈佛大学等国际组织和学校发扬光大，并被国内外的多个企业如IBM、EMC、普华永道等所采用并实践；数据湖被多个国际组织和企业所采用亚马逊与数据湖Netflix（AWS构建数据湖案例)应用场景Netflix通过AWS构建数据湖总体架构全球领先的互联网在线影视服务供应商，在美国有超过3千万的订阅用户。AWS的通过云计算、数据湖吸引和支撑了Netflix这样规模的客户。S3作为数据湖可以针对不同的工作负载弹性配置多个Hadoop集群阿里巴巴与数据中台阿里数据中台，基于数据驱动的理念统筹设计，融合全域数据并按垂直业务类型进行划分，完成服务化封装。各业务前端根据商业诉求，弹性调用封装后的数据能力，快速响应市场变化，快速创新构建数据中台，赋能前端业务依托能力中台，凸显大数据价值ZJ移动2018按照“能力为根、安全为本、价值为魂”原则，基于企业级大数据平台积极探索集中化数据管理，对内服务精益运营、对外赋能行业发展，实现价值变现和规模运营。平台能力：企业级大数据平台规模达到1400多台，向各地市各部门开放租户超过100个，大数据应用上线时间缩短至3天左右。数据能力：整合B/O/M三域数据资产，日新增数据140T600亿+条；数据规模超过5PB，为集团内数据最多最全的省公司之一。模型能力：实现建模核心能力自主掌控，构建基础模型近2000多个。已建成客户标签体系包括习惯偏好、消费行为等7大类10万+标签。

产品平台喜®

（拓客）慧®

（洞察）喜刷街喜转盘城市经济地图智慧精选信用分交通治堵城市规划线下零售效能摆摊精灵（驻点直销）人气精灵（潜/熟客）选址精灵（加盟厅）喜传单信®（风控）天盾反欺诈金融验真商业选址能力中台应用服务接口：提供用户画像、推荐触达、行业洞察、风险防控等6大类288个服务接口，月均调用超1.47亿次。对内：数据驱动“智慧运营”对外：需求驱动“价值运营”智慧应用百花齐放：开放用户画像、时机触发、产品推荐等5大类46个服务接口，年支撑创新场景近30个，月均营销成功用户数提升1倍。线上千人千面咪咕爱看视频推荐手机营业厅福利社地市官微微服务全域旅游商用产品全线拓展：拓客类产品业务布局初步成型，意向客户超70家；客流、选址等洞察类拳头产品收入突破千万；信用分创新风控类产品已应用于欠费免停机场景，单客户ARPU可提升1.64元目录行业标杆重点措施规划思路回顾总结现状分析数据中心建设现状基于HADOOP架构，建设形成具备6大能力的大数据中心平台，有效支撑企业重点业务应用。平台架构完成平台扩容，搭建了研发和生产环境分离的大数据基础平台，实现以租户形式提供存储和计算资源。数据汇聚有序推进BOM域数据整合，已汇聚IT、网络、平台共39个系统约2.2P的数据数据管理构建数据资产地图，支撑数据资产的量化、可视化运营管理，模型注册和数据处理的配置化管理，实现从数据管理到数据资产管理的提升。安全管理提供实时/离线加密服务，形成了加解密算法库。数据服务提供标准化数据服务的统一开放共享。平台运维搭建了统一的数据中心运维平台，实现了跨系统运维资源的整合开发工具提供了可视化组件，已经支撑业管、电金、新媒体3个部门以及乐山分公司的数据应用，以及资阳、眉山分公司的应用推广模型设计资产目录资产视图问题总结数据中心能力待改进需求总结平台架构1、需要完善本地网的应用支撑2、可视化管理、跨集群数据交换能力不足3、集中运维、自动化运维能力不足4、hadoop组件开源开发能力不足数据汇聚1、数据采集汇聚效率不足2、数据采集范围尚未覆盖企业级整体数据3、不同种类的数据存放仍需规范化4、源系统接口不规范，数据采集不稳定数据处理1、实时、准实时数据处理支撑能力不足2、数据处理的效率有待提升数据治理1、数据资产可视化程度偏低2、缺少数据资产面向企业的服务能力3、数据质量管理仍有很大的提升空间数据开发1、开发流程管控能力有待提升2、数据开发支撑工具还需补充3、开发工具的易用性有待提高数据应用1、基于数据中心的前端应用缺乏深度2、缺少数据驱动型产品的支撑

3、资产服务（血缘、运维等）很少引用到前端应用中系统运维1、系统运维智慧化程度不足2、缺乏基础平台运维监控能力数据安全1、数据安全体系持续完善中优化数据中心资产能力，深化赋能型企业中台建设规划思路数据湖：扩展数据汇聚能力，快速满足分析型、探索型、挖掘型业务需求MPP架构：引入MPP架构，优化本地网及各部门数据应用支撑能力基础架构集约化建设：优化和完善数据中心的管理模式，提升对本地网及业务部门的数据应用承载的支撑能力高效处理：提升实时、准实时应用的处理能力，快速支撑业务需求应用管理：提高本地网及合作方应用的快速部署能力运维保障：实现从平台到应用的端对端保障数据开放及探索：建立数据开放机制，助力数据价值体现平台能力数据中心组织保障：建立跨部门数据管理团队，为数据质量提供保障数据质量：数据质量能力提升，保障全流程数据质量数据安全：建设全面统一的数据安全体系资产运营：打造贯穿数据生产服务链的全景式数据资产管理及运营体系资产管控数据应用：发挥数据资产管理优势，深入发掘数据价值，打造数据中心新应用数据应用借鉴AWS数据湖理念和阿里、移动公司数据中台建设经验，结合现状，进一步深化企业数据中台建设，为生产、营销、管理、运营类数据需求提供全方位的能力支撑。数据存储/计算数据汇聚业务洞察（业务知识）业务策略（过程智慧）业务事件（行为感知）业务协同（过程管控）业务质量评估（过程优化）业务知识沉淀（知识库）对内精确支撑对外合作运营营销支撑管理支撑生产支撑本地网/公司行业数据分析行业数据挖掘行业精确营销客户视图渠道视图产品视图风控视图资源视图……资产管理线资产运营线资产管理业务生产线原子业务仓库组织保障资产分析资产安全运营规划资产开发资产治理资产评估资产开放资源目标市场SaaSSoftwareasaServiceDaaSDataasaServicePaaSPlatformasaService智能化分析（机器学习）智能化管理（数据治理）智能化运维（智能运维）对内智慧运营对外合作创新总体架构数据中心架构全景视图在建/增强规划建议已建数据源B域M域网络O域平台数据层DataT-PaaS平台层D-PaaSA-PaaS应用层数据运营数据安全数据治理标准化管理元数据管理数据体检数据质量管理数据网关安全策略安全审计安全控制DaaSSaaS数据湖区（以HDFS为主Store）Data

in

Model（结构化数据）Data

is

Object（非结构化、半结构化数据）传统模型数据探索中间层汇总层标签库指标库开发库统计分析库数据挖掘库存储计算Hadoop存储与计算集群MPP存储与计算集群分布式缓存与计算流处理RDB存储与计算平台工具数据自服务数据可视化智慧门户标签工具指标工具应用托管应用工具应用部署代码构建应用编排数据开发数据产品驱动应用精准营销精确管理精细服务精益网运行业应用客户洞察渠道洞察位置模型风控模型……消费品洞察新型数据数据对象视图内容解析检索工具流处理工具数据挖掘数据采集爬虫工具多租户管理API&UI数据开发管控资产目录及注册数据开放作业统一调度数据同步数据资产运营统一运维采集适配平台光网、无线目录行业标杆重点措施规划思路回顾总结基础架构平台能力数据资产运营数据驱动举措：基于现有能力，扩展构建数据湖基于现有平台能力，扩展数据湖能力。丰富数据中心的汇聚能力，补充光网、无线数据的直接接入。接入数据的统一注册和管控，保证数据质量。生产环境的HDFS作为热数据区，研发环境作为温数据和冷数据区。完成资产管理平台与采集适配平台的对接。定义接口规范并落实接口规范完善接口稽核和监控。基础架构数据源2.核心处理（数据交互、任务调度、数据建模）2.1.研发环境（研发分析）2.2.生产环境（统一建模、调度、交互）采集适配平台（光网无限）JOB发布研发数据仓库Hive

（轻度汇总）

数据湖（温数据区，冷数据区）生产数据仓库Hive（轻度汇总）研发数据仓库MPP（复杂关联）

生产数据仓库MPP（复杂关联）保证数据及时性同步数据资产管控平台数据湖（热数据区）举措：引入MPP架构，完善大数据平台的处理能力平台架构弥补大数据数据平台关联计算及汇总处理效率的不足，同时兼顾本地网开发人员技能平滑过渡，提高数据开发和处理的效率，需引入MPP架构，形成数据中心完善的架构支撑能力。平台层处理层MPP数据库Hadoop平台报表应用自助取数轻度汇总数据应用宽表指标清单数据文本数据流数据非结构化数据业务部门工具层可视化工具智慧数据门户资产管理平台数据挖掘工具文本检索工具自助分析其他分公司数据及技术专家数据模型开发第三方开发者多维分析准实时应用数据流处理数据挖掘建模文本日志处理查询分析角色数据中心数据中心MPP架构分角色支撑能力提升数据交换能力提升大数据集群间数据交换的效率建立大数据平台与MMP数据库的交换能力建立MPP数据库与结构化数据库的交换能力提升资产管理平台支撑能力封装跨平台数据处理引擎，支撑MPP环境下的数据模型开发能力统一数据资产管理，建立跨平台的数据注册、管理体系实现本地网应用的迁移提供丰富的MPP数据库开发工具，降低本地网人员开发难度建立本地网推广组织，协助本地网应用逐步迁移到数据中心目录行业标杆重点措施规划思路回顾总结基础架构平台能力数据资产运营数据驱动对租户的开通，资源分配，服务实例的分配，数据的授权，应用构建等，进行统一的可视化租户管理。封装统一的数据资源适配层，对接底层混搭的数据库架构。统一多租户管理Hadoop集群MPP集群服务适配层（service

broker）租户账号创建资源分配服务分配数据授权应用构建应用集群（K8S）租户帐号开通计算、存储资源RDB组件服务数据授权服务12345图例租户帐号开通服务计算、存储资源服务组件服务调用数据授权服务调用应用构建服务调用多租户管理举措：实现可视化的多租户管理流程租户管理简洁化：改变传统的通过后台分配租户、数据访问权限等操作，非技术人员也可以通过可视化的操作，快速创建租户，并对租户数据进行赋权。权限管理视图：解决现阶段后台操作赋权后，没有统一完整的视图展现租户与数据库表之间的关系，可视化多租户管理能够通过可视化的界面对权限进行梳理、分析、配置。完善管控流程：将现阶段线上邮件申请，线下赋权的管理流程规范化，统一纳入到线上管控流程中，减少了人为因素导致的问题出现的概率，同时也可以记录操作日志，对违规操作进行审计，提高了系统运维的安全性。平台能力举措：完善平台组件能力，支撑本地网开发全流程资产管理平台可视化能力类组件SQL取数组件诊断能力类组件可视化取数组件DTS工具门户数据开发报表开发业务诊断IT人员取数业务人员取数数据查阅数据开发类组件数据处理类引擎数据采集类组件MPPhive产品销售品类本地宽表新增优化其他管控数据获取DTS工具：DTS工具新增“鱼骨图”、“思维导图”组件提供业务人员诊断能力；DTS工具优化“可视化取数”支持外关联的取数支持，方便业务人员实现可视化自助取数；DTS工具优化“手写SQL”报表组件UI及钻取透视功能；DTS工具集成“SQL查询”模块，支持IT人员使用SQL完成临时取数需求；资产管理平台优化“数据采集类组件”，支持准实时的接口提速，并且同步到MPP；资产管理平台优化“数据开发类组件”，支持MPP数据库的数据加工逻辑的开发与任务调度开发；资产管理平台优化“数据处理类引擎”，支持MPP数据处理逻辑能正常运行调度；1、完善平台组件能力，支撑本地网从数据开发、报表开发、数据查阅、自助取数、业务诊断的端到端的数据应用能力；2：实现数据不出数据中心。数据湖资产管理平台：流处理工具举措：提升实时分析的能力建设目标建议举措1:实时处理可视化编排目前已经具备实时数据接入能力，但对实时营销、实时数据分析场景开发周期长，开发门槛高，无法快速响应市州分公司等业务诉求，缺乏一套配置使用简单具备平台管理的实时处理与分析能力。可视化DAG配置可视化监控运维平台需要具备特性二次开发熔断/流控管理开放与集成容错处理failover分布式处理高性能可扩展实时抽取组件业务处理组件自由编排建议举措2:与资产管理平台打通元数据实现实时数据、离线数据统一管理需要与资产管理平台打通元数据资产统一管理的必要性流处理工具

四川电信目前已经具备实时数据接入能力，但对实时营销、实时数据分析、实时业务监控等对实时处理能力要求高的业务还缺乏统一的平台支撑；需要提供一个处理流数据低延迟、可高度扩展的，满足海量且多样化数据源处理的高性能平台。举措：提升实时事件处理能力.......流程化配置管理图表化监控视图流处理引擎输入适配HTTPSocketFlumeKafka……数据订阅HDFSHBaseMySQLKafka……一站式操作界面丰富的数据订阅规则输出适配通用可配置的数据源适配器精准营销实时预警个性推荐位置运营客户画像开放的label扩展接口………一站式操作界面，提供便捷且直观的流处理管理能力。丰富的数据订阅规则，确保企业业务数据间的隐私，同时为精准分析和决策提供依据参考。提供多样化的接入方式，帮助企业更加快速、方便的接入多样化数据举措：构建安全的数据开放形式1：数据开放的标准化和安全性。2：平台提供工具，为租户提供开发能力。资产管理平台：提供各种底层接口的适配能力提供服务和数据的安全控制策略提供各类服务调用方式（包括文件和Http），及数据封装。租户按照数据服务申请，授权，数据加工，数据发布，API封装，API开发的流程完成数据开放过程。应用开放统一接入数据适配服务路由服务监控安全控制服务编排能力代理协议转换能力适配统一接入MPPHadoopHBaseRDB…...基础数据数据适配jdbcRESTSOAPWebService特定APIPGOracleHive同步异步消息服务订阅数据调用接入鉴权业务路由负载均衡服务缓存安全控制数据动态脱敏数据加密IP控制字段级控制服务控制配额控制流量控制统一日志使用计量资产管理平台数据服务平台能力举措：提高本地网应用快速部署能力平台能力1：通过数据服务化的支撑分公司的应用创新。2：提高应用微服务化的平台支撑能力。建设统一的应用管理平台，针对地市独立开发的应用，做到资源按需分配。避免申请资源直接申请物理机、VM情况。应用管理平台能够查看各个本地网应用使用数据的情况。集中管理应用的高可用，负载均衡，灰度发布，弹性扩缩容的。实现应用的自动化管理。集中监控应用的状态，对异常的应用集中告警。用例覆盖场景详细描述与四川电信场景结合优先级CICD场景持续集成/部署、镜像安全、应用隔离、应用配置、应用升级／回滚通过CICD和DevOps流程管理开发和第三方软件提供商的开发流程，实现应用快速迭代。高弹性伸缩根据应用弹性自动伸缩电渠平台面临促销、团购等活动时，通过弹性伸缩能力及时响应业务量暴涨带来的前端压力，并保障业务不间断。高有状态应用容器迁移、mysql数据库的完整性验证解决有状态应用的灵活扩展带来的数据迁移问题。高租户应用资源隔离多租户配额限制与账户管理对外提供服务，对不同的用户提供不同资源配额和空间。中运维监控监控、日志提供容器环境下完善的监控和日志平台，智能高效运维，降低管理成本，保证业务高可用。高应用容器化常用中间件容器化

Tomcat、Redis、kafka、mysql等将常用中间件置于能力开放平台，可大大减短应用的开发周期，提高开发效率，及应用的稳定性。高容器安全镜像安全、及容器应用隔离分别从镜像和运行时容器多维度保障应用安全。中稳定性／性能异常测试高可用、性能测试；保障平台高可用，评测支撑业务规模。高关键技术（网络技术）多主机之间网络通信为不同的业务场景提供丰富的网络方案和模型。高平台能力举措：提升诊断、取数自服务能力，支撑移动端开发

提升在线洞察诊断能力为业务人员提供鱼骨图、思维导图组件：用于分析关联业务因素主因，清晰展现诊断思路

提升在线数据自服务能力新增“SQL查询”（WEB版本SQL查询页面），利用JDBC支持多种数据源的SQL执行，以支撑本地网IT人员完成临时需求取数；支持移动端适配可视化工具的“可视化引擎”增加“移动端适配”支持，制作图表可在移动端展现1、提升工具可视化诊断、取数能力，支撑业务人员在线自助的分析与取数工作；2、可视化工具支撑移动端应用图表开发，同一应用可适配移动端与PC端，减少IT人员开发工作量；智慧数据门户分析能力异常预警异常追溯业务风控业务评估个性化能力收藏订阅智能推荐交互性能力工作流评论分享手机门户PC门户新增优化其他数据查询能力血缘追溯图表呈现图表联动数据下钻自助取数提供智慧分析能力通过集成固化业务分析模型，为智慧门户提供业务异常预警、异常追溯能力，同时也能对业务风险控制、业务发展评估提供支撑提升个性化能力收藏与订阅：配合指标库改造，优化指标的收藏与订阅，完成个人工作台定制；智能推荐：根据业务人员偏好，完成指标、报表、预警信息推送；新增移动端的交互能力通过实现工作流能力支撑，省市、业务人员与分析人员、领导者与运维者等多角度交互，形成在线沟通的快速保障能力；同时邮件、短彩信等多渠道分享促进员工间协同，使正确的信息，在正确的时间，以专业的可视化形式流向决策者！优化数据查询能力通过打通与资产管理平台，优化指标血缘追溯能力；同时通过集成自助取数工具，支撑业务人员自助取数需求1、优化门户智慧分析能力模块与优化门户个性化能力支持，为门户注智；2、新增移动端交互能力，实现多终端、多渠道的协同，使正确决策信息以专业的可视化形式流向决策者；3、优化数据查询能力，更方便让数据使用者了解和自助完成数据获取。平台能力举措：优化门户实现报表支撑型向智慧服务型转变建议：基于从平台到应用端到端的运维保障一体化运维以大数据中心的应用为视角，向下关联平台、资源、基础服务的运行情况和数据使用情况，当应用出现故障时，能够实现端到端的快速故障定位、原因排查、故障排除建议的服务。从应用角度出发，解决定位问题难、解决问题难、总结问题难的难题。需要多个部门联合推动一体化运维多租户管理能力贯穿运营监控的各个环节，保障对资源、数据、服务的统一调配各平台/系统运维界面的统一集成、统一展示异构厂商运维数据的规范接入，保障运维分析的准确性重要应用的准实时/实时监控，及时预警建立业务运维视图，实现应用与平台、资源、服务、数据之间的映射关系逻辑模型，便于问题溯源监控指标的统一预警运维知识的沉淀总结，形成运维知识库，便于快速解决问题调度程序问题数据库问题磁盘空间问题网络联通性问题大数据组件进程问题平台资源分配问题……一键故障诊断，定位问题类型大数据平台组件数据库主机网络系统接口作业调度……监控数据关联分析建立业务运维视图应用告警业务运维视图顺序诊断故障业务运维视图组件应用告警界面建议举措目录行业标杆重点措施规划思路回顾总结基础架构平台能力数据资产运营数据驱动数据资产管控与运营整体思路数据资产管控与运营加强数据资产诊断，提升数据质量，确保数据品质数据价值评估，获取成本，计算成本，增值成本，业务价值，量化估值体系数据规划构建数据运营机制，助力数据价值变现数据开发资产治理资产评估数据安全资产开放制定完善的数据标准规范，规划整体数据架构开发过程规范化，流程化；确保数据规范的落地提供全流程数据脱敏能力，确保数据使用可管可控亚信依据多年在数据资产管控及运营的建设经验，打造贯穿数据生产服务链的全景式数据资产管理及运营体系组织架构制定完善的数据标准规范，规划整体数据架构01.组织架构建议：多部门保障的数据资产管理组织打破公司部门壁垒，构建起多部门共同参与的数据资产管理组织，实现数据资产管理职能统一收敛，并将数据资产管理工作从“项目主导“升级为“公司主导”，从而全面支撑横向、纵向的数据资产管理工作开展。建立虚拟的跨多部门的数据资产委员会

，“委员会”由公司领导挂帅，各部门增设数据资产管理专员，负责各项关联流程实行与有效沟通建立实体组织数据资产管理部，增设数据架构管理、数据标准管理、数据需求管理、数据开发管理、数据操作管理等角色；梳理管理流程，明确分工界面，负责盘点与整理各自业务部分的数据资产。数据资产委员会领导小组企业信息化部系统部系统集成部大数据平台组大数据中心数据资产管理部数据资产管理团队xxxxx数据资产管理专员网络部数据资产管理专员市场部。。。财务部。。。地市公司成都公司。。。绵阳公司。。。……职能：扁平化方式配合工作，负责本域数据的治理工作，并接受监督职能：系统平台建设，提供系统资源职能：总体负责、具体实施优化组织结构职能：领导、组织与决策数据标准化及治理工作建设目标建议举措02.数据规划举措：制定完善的数据标准规范，规划整体数据架构完善数据管理规范，如数据生命周期管理规范、数据安全管理规范、数据服务封装规范；优化数据架构定义，指导开发团队规范模型设计与程序开发；新增存储架构规划，引入MPP异构需要增加对于HDFS、MPP不同类型存储规划。建设目标建议举措数据现状进行了全面梳理，并结合已有的相关标准规范，最终制定了10项企业级数据资产管理规范和标准，基本覆盖了数据资产管理的各个方面，起到指导和约束日常数据资产生产和管理的作用元数据管理规范数据质量管理规范数据生命周期管理规范数据安全管理规范接口设计规范接口开发规范模型设计规范模型开发规范数据服务封装规范数据开放规范以模型设计规范中对逻辑数据模型的规范要求为例：模型命名字段命名模型主题DWD层模型主题域共划分8个主题域29个子域DW-整合层主题域的划分与DWD层一致DW-统一视图层主题域共划分6个主体域DWD层模型所有实体必须以“D_【主题域缩写】【主题子域缩写】_【实体自定义】”方式命名DW层模型所有实体必须以“【数据层级】_【主题域缩写】【子域缩写】_【实体名缩写】_【实体自定义】”方式命名字段命名规范总共规定了20个字段后缀命名规范，144个常用词汇命名规范以及357个常用字段规范设定数据架构当选择数据库下的业务汇总层后，存储属性就会自动填充设定存储架构设定数据标准制定数据规范03.数据开发举措：全流程的资产开发规划数据规范与生产结合，把数据规范落地在生产链中，前向执行数据的规划；完善指标与标签管理工具，补充指标与标签管理工具，完善数据加工的工具链；完善开发运维体系，引入运维知识库，尝试智能化运维能力建设目标建议举措四川电信资产开发平台涵盖了需求分析以及数据架构设计，注册，开发以及上线运行的全流程开发管理，通过规范化开发流程来保证数据中心的数据质量以及数据安全。2018年规划数据架构设计资产目录规划租户设计数据分层分域设计数据标准规范制定生命周期制定数据安全策略需求自动化分解分析/设计资产注册资产注册中心数据项注册模型注册资源注册处理能力注册接口注册（入湖注册）元数据采集指标/标签注册资产开发资产开发采集接口开发处理语义开发对外共享开发指标&标签库开发调度配置湖内数据资产封装基于数据对象的开发上线/运维/分析上线/运维及分析资产审核双环境上线发布运维问题处理与管理血缘及影响分析日志在线展示与分析运维知识库及智能化生命周期自动化管理2019年规划04.资产治理举措：强化数据资产诊断，保障数据品质优化数据处理程序效能监控数据生命周期是否健康诊断数据模型冗余是否合理检查数据开发过程是否标准监督数据使用过程是否安全可控建设目标建议举措数据运营的初期需要加强数据资产运维，保障数据品质。从数据使用的源头跟踪整个数据生产过程中的健康状态，结合任务作业的调度，运行资源的使用，程序运行效能，数据存储合理性，提升数据的质量。数据的不断累积团队的不断增多有按标准执行吗？数据存在冗余吗？数据处理高效吗？数据都有人使用吗？到期数据有清除？质量管控过程标准化管理过程存储管理过程模型管理过程安全管控过程……开发者量化管理模型数据运维健康度模型04.资产治理举措：数据质量能力提升，保障全流程数据质量优化稽核规则和策略，提升稽核效率；建立统一稽核视图，方便管理和运维；完善稽核点和稽核规则；提供月度质量分析报告；完善实时采集稽核方案，确保实时采集接口质量；建设目标建议举措数据质量体系支撑效率提升稽核完善集中展示总结分析元数据质量表元数据稽核基础能力事中管理事前管理事后管理视图元数据稽核字段数据稽核稽核管理统一视图稽核管理接口数据稽核模型层数据稽核应用数据稽核指标稽核数据质量体检优化策略数据质量月报数据质量专题告警采集运行效率稽核点优化稽核规则优化稽核规则管理问题管理…….1：效率提升：全面保障数据质量的前提下，提升数据质量稽核效率。2：稽核完善：部分重点指标和数据还需要进一步完善监控规则，做到重点指标不遗漏，稽核质量有保障3：集中展示：统一展示稽核情况，能够方便快捷的了解稽核全景，保障稽核工作顺利开展4：总结分析：实现月度质量分析，逐步形成大数据平台月度运营质量分析05.资产评估举措：完善数据资产评估，体现数据价值建设目标建议举措建立数据资产价值评估体系，为数据开发提供辅助支持，提升数据运营和服务保障能力。1.建设资产价值评估体系，刻画数据资产价值通过资产价值评估规则管理，分析刻画，形成数据资产评价指标建立全域资产价值评估框架形成资产价值评估体系化工作流注智模型开发注智数据运营注智数据服务智能调度策略原子job资源配置优化数据生命周期管理……模型原子化粒度模型关联关系模型处理规则数据合并策略查询性能优化服务等级管理热点推荐数据服务封装……注智数据管理及服务……2.为数据管理及服务注智根据数据资产价值评估结果，为模型开发、数据运营、数据服务注智模型开发：辅助建模，提供模型关联、处理、合并策略建议数据运营：根据资产价值评估结果，提供资源和调度优化建议，提升高价值资产保障能力数据服务：开展热点推荐等基于数据价值提升的服务06.数据资产安全举措：与服务对接中的安全管控规划（创立）建设目标建议举措将服务平台作为大数据中心的租户，通过完善大数据平台与服务平台之间数据安全的管控机制，保障服务平台使用数据的安全。实行数据安全机制四级管控：基于服务层租户。为服务层分配一个统一的租户，应用访问该租户下的数据。基于应用提供的标识，对应用进行数据授权。基于租户授权文件。大数据资产平台已有租户将授权文件上传至服务层，基于文件进行数据授权。数据授权。通过服务层申请相关数据访问权限，大数据资产平台进行授权。大数据中心服务层数据授权基于服务层租户基于应用基于租户授权文件数据授权访问申请数据应用服务注册租户认证接口应用认证接口数据授权接口文件认证接口细化安全管理分工界面：服务层面向应用；大数据中心面向租户和数据；大数据中心提供相关接口由服务层调用。06.数据资产安全举措：建设全面统一的数据安全体系（补充建议）建设目标建议举措完善敏感数据管理：实行敏感数据分层管理，对于高级敏感数据进行严格管控，对于中级敏感数据进行监管；实行安全漏洞发现：补充安全漏洞的扫描，预防各级安全隐患；扩展全面的安全审计：对于各类操作的日志进行全面审计，“亡羊补牢”为时不晚。数据安全与传统的安全管控的区别在于，数据安全核心关注数据在使用流转过程中各个环节中数据本身的安全问题，比如隐私泄露、数据滥用、非法转卖等，核心目的在于保护数据不受侵害数据安全系统安全网络安全安全域管理网络策略入侵防护管理应用安全网络传输管理系统容灾补丁管理漏洞管理安全策略安全规范安全流程安全审计安全范围安全策略系统备份应用漏洞管理代码审计应用部署安全防篡改管理网关组件账号体系数据网关安全组件发现评估敏感数据发现漏洞发现评估安全级别评估保障防护隐私保护数据访问控制数据版权保护监控审计日志分析安全追踪安全告警

07.数据资产开放举措：建立数据开放机制，助力数据价值体现建设目标举措1:开放数据产品目录数据资产运营的繁荣期需要大量人员使用与分享，促进各市州分公司、省公司各部门的业务用户的使用，确保数据准确，改善使用体验共享数据模型基于业务口径规则打造数据产品目录，并开放数据产品目录，提供给各级市州公司及省公司业务部门使用“安内”需要提供相应的数据“问责”制度，并且能形成问题的闭环反馈。各个业务部门可以安心的使用数据实行模型推广制度，使各部门本地网把自由好的模型分享出来，并提供一种激励的机制，提升模型整体的质量举措2：明确数据职责举措3：促进数据模型/产品共享通过目录进行模型的分享明确责任人与联系方式，方便业务部门问题及时沟通业务人员主要使用数据产品目录目录行业标杆重点措施规划思路回顾总结基础架构平台能力数据资产运营数据驱动数据驱动举措：构建数据产品，推进生态业务融合应用层平台层数据层DaaS数据对象服务封装....对外数据服务封装标签服务指标服务模型服务客户洞察产品洞察原子数据服务数据产品服务渠道洞察位置模型……风控模型DatainModelDataisObject基础公共模型标签库指标库数据对象服务用户增强新增已有外部用户构建以“数据驱动2.0”为核心思想的数据运营模式，通过引入“数据湖”完成对全生态数据融合的同时，设计DaaS（包括：原子化数据服务、赋能型数据产品封装能力），并夯实数据向资产化演进的服务基础，实现数据从“入湖”到“智慧运营”自底而上的价值传递根据电信集团转型3.0战略打造新一代智慧运营体系，对省分提出业务生态化的要求建设：1、DaaS

数据服务体系构建企业级数据服务体系（DaaS），实现数据中心能力显性化和集中统一管理，面向公司生产系统、自有平台、合作伙伴等用户提供一系列数据积木，自由组装，快速构建各类应用2、平台层

可视化服务封装打造可视化、可配置、可计量、可监控的数据服务封装能力体系，完成数据服务实例场景化封装3、数据层

全生态数据融合融合源于各个不同实体中的数据，形成共享的数据社区，重点落实标签库、指标库、数据对象服务（主要面向非结构化数据、流式数据）数据驱动举措：对内服务精益运营，应用快速支撑

产品信息渠道信息资源信息营销信息对内API分类体系基本信息用户属性API区域归属API……通信行为客户通话API对端号码通信API……个人消费客户服务位置轨迹+个人信息4G流量套餐订购API流量年包API短信APIiTVAPI189邮箱API手机视频API手机游戏API手机投注API……主套餐信息API+主套餐+流量产品+数据业务渠道基础信息API+渠道基本信息终端销售情况APIIMEI状态API换机用户API集团TAC使用情况API用户IMEI使用情况API+终端折扣类活动办理API成本类活动办理API营销效果评估API……+营销活动信息客户信息+政企信息+家庭信息+优惠产品+服务功能+SP产品+入网渠道信息入网渠道API+业务电话渠道API短信渠道API实体渠道业务量API网上渠道业务量API渠道养卡API网上渠道业务量API基于业务场景完成梳理对内OpenAPI资产目录（目前已根据中国电信业务特征整理88个API，涵盖2325个标签、指标）；对内OpenAPI体系主要分为“客户信息、产品信息、渠道信息、资源信息、营销信息”五大类实例OpenAPI应用实例：终端销售场景1、根据四川电信业务场景梳理符合用户习惯、语言易懂、便于优化迭代的OpenAPI资产目录2、构建一系列场景化OpenAPI封装实例数据驱动建议：对外融合行业发展，打造数据社区通信信息位置信息兴趣偏好履约能力对外API分类体系个人实名认证API个人基本信息API个人经历API用户等级API终端信息API+个人信息企业基本信息API企业等级API+企业信息家庭基本信息API+家庭信息产品使用API产品使用API通话信息API流量使用API短/彩信发送API+个人客户+企业客户+家庭客户常驻区域API位置数据API指定区域的常驻用户群特征API位置偏好标签API常见轨迹API+位置信息服装偏好API+衣早餐偏好API中餐偏好API晚餐偏好API宵夜偏好API零食偏好API+食旅游娱乐教育健康理财运动终端资讯宠物APP偏好信用等级API身份特征API消费情况API行为习惯API历史信用API系统参数API+个人征信集团属性API消费情况API系统参数API+企业征信基础信息语言易懂用外部用户能看懂的语言诠释移动开放出去的数据，例如客户ARPU表达成“消费”。外部用户对移动数据结构不了解，所以需从用户找数据的使用习惯出发，设计API的分类体系。符合习惯后续将根据用户的意见不断迭代优化。例如新增考虑特定行业/群体等需求去划分API分类。迭代优化对外API分类原则基于对外合作市场诉求完成梳理对外OpenAPI资产目录（目前已根据行业客户需求整理对外API64个，涵盖534个指标）；对外API体系主要分为“基础信息、通信信息、位置信息、兴趣偏好、履约能力”五大类实例1、收集四川电信业务部门合作运营的需求（如：iTV），针对需求度较高、普适性较高的OpenAPI制定开放策略（开放对象、使用权限、优先级等）2、以数据分级体系、数据提供流程、数据安全保障（数据使用前、中、后管控）等手段，规避客户敏感信息泄露，完善数据安全体系建设举措：发挥数据资产管理优势，深入发掘数据价值，打造数据中心新应用专题应用深入驱动型应用的探索，发挥数据资产管理平台的各项能力，为业务提供的专题应用，面向使用者、运维者、管理者、开发者提供可视化、可联动、可还原的数据分析报表，并实现血缘关系、运维信息、质量信息的展现。光网、无线专题充分利用可视化能力，建立告警分析、派单分析、退服分析、投诉分析等专题分析风险管控专题完成业管所需的风控模型开发并通过工具实现清单下发功能利用可视化能力完成对专题应用的建设通过机器学习能力，对风险进行深度识别，形成有效的分析报告收入保障专题建立用户收入全视图，对收入预测进行基础数据支撑深入研究收入，提供专题型的决策参考信息，如：发展效益、活动评估、收入趋势等ITV专题整合ITV业务平台数据，进行汇总和整合，以构建多层次业务分析体系，多维度的业务分析模型为营销提供精准运营管理，通过用户画像，根据用户兴趣内容和行为画像进行推荐工具层资产管理平台数据资产管理核心数据处理接口层整合层中间层汇总层调度执行信息数据质量信息元数据血缘关系资产评估…数据自服务工具（DTS）可视化开发、自助取数、自助报表智慧数据门户报表、专题发布应用管理收入保障风险管控ITV光网、无线应用层服务层数据封装服务血缘关系服务质量信息服务运维信息服务资产价值信息服务…目录行业标杆重点措施规划思路回顾总结回顾总结本次大数据中心规划回顾能力层能力说明基础架构举措：基于现有能力，扩展构建数据湖举措：引入MPP架构，完善大数据平台的处理能力平台能力

举措：实现可视化的多租户管理流程举措：完善平台组件能力，支撑本地网开发全流程举措：提升实时分析的能力举措：提升实时事件处理能力举措：构建安全的数据开放形式举措：提高本地网应用快速部署能力举措：提升诊断、取数自服务能力，支撑移动端开发举措：优化门户实现报表支撑型向智慧服务型转变建议：基于从硬件到应用端到端的运维保障数据资产管控建议：多部门保障的数据资产管理组织举措：制定完善的数据标准规范，规划整体数据架构举措：全流程的资产开发规划举措：强化数据资产诊断，保障数据品质举措：完善数据资产评估，体现数据价值举措：与服务对接中的安全管控规划（创立）举措：建设全面统一的数据安全体系（补充建议）举措：建立数据开放机制，助力数据价值体现数据驱动举措：构建数据产品，推进生态业务融合举措：对内服务精益运营，应用快速支撑建议：对外融合行业发展，打造数据社区举措：发挥数据资产管理优势，深入发掘数据价值，打造数据中心新应用

感谢聆听！数据因我们而不同！请您批评指正！附录数据湖传统架构的变迁DatabasesFilesStreamsTransactionsLogsEventsDatawarehouse?Hadoop?ETLETL新一代大数据中心传统数据仓库DatabasesFilesStreamsTransactionsLogsEventsDatawarehouseDataLake数据湖为什么要引入数据湖？引入数据湖现状01数据湖，以低成本收集并存储任何规模、所有类型的数据并安全提供使用，符合中国电信对”N”省分数据中心建设高安全、耐久、可用、可扩展性的要求集团“1+N”战略，要求四川电信作为先进省分保持数据中心架构稳定性和前瞻性02数据湖，支持对非结构化、流式数据进行对象存储和持久化，并支持数据对象的快速检索、实时访问光网、无线数据及企业外部数据亟待收集，对非（半）结构化数据、流式数据的处理缺乏经验03数据湖，可快速轻松地执行新类型的数据统一汇聚和分析，支持新接口类型包括如corba、socket、snmp、tmf、SFTP、SSH等，支持秒级、毫秒级数据处理能力数据汇聚的复杂度增加，面临数据接口类型超过10种，前端业务要求数据中心具备实时数据处理能力04数据湖，基于“注册”机制，任何入湖的数据都将注册到资产目录进行统一管理，同时具备自行更新和管理数据对象索引、元数据的能力，方便进行开放使用数据资产管理的难度增加，面临全生态数据（B\O\M域，网络、外部等）进行的统一、有效管理，无成例可循05数据湖，适合lambda架构设计，支持使用一系列分析引擎，用于高级数据分析、实时流式+批量数据复合分析、预测性分析、人工智能(AI)和机器学习等场景生态圈融合业务发展，驱动数据资产价值的发掘，对数据中心具备对复杂事件的处理和分析能力数据湖如何构建数据湖？亚马逊：什么是真正的数据湖？Collect&StoreCatalogue&SearchEntitlementsAPI&UIAnAPIanduserinterfacethatexposethesefeaturestointernalandexternalusersArobustsetofsecuritycontrols–governancethroughtechnology,notpolicyAsearchindexandworkflowwhichenablesdatadiscoveryAfoundationofhighlydurabledatastorageandstreamingofanytypeofdata采集和存储高可靠按照输入源存储原数据支持任何类型的数据价格低廉目录和搜索元数据湖用于概括性的统计和数据分类管理数据发现和管理的简化模型授权数据加密保护身份验证和授权访问控制和限制API&UI将数据湖开放给用户程序化的查询目录开放搜索API确保授权是得到认可的1234数据湖资产注册即采集AWS作为公有云提供面向互联网的数据安全、数据高吞吐量、数据加速传输的基础设施能力，而采集能力实现使用者自定义完成AWSDirectConnectAmazonKinesisFirehoseAWSSnowballISVConnectorsS3Transfer

AccelerationAWSStorage

Gateway四川电信数据中心面向企业级应用支撑（私有云），需要提供面向企业级统一的数据入湖规范和资产注册能力，同时也提供企业级统一的采集能力，实现资产注册即采集数据入湖数据资产管控平台数据源网络……M域O域B域平台资产注册统一适配平台统一提供Databases、Files、Streams类采集组件，并通过“数据管控API”将采集的数据资产信息，自动注册到数据资产；特殊接口可继承“自定义”采集框架，完成自定义采集方式、逻辑实现，但需注册来源与格式、入湖目标与格式信息。企业级统一的Collect采集和存储高可靠按照输入源存储原数据支持任何类型的数据价格低廉1为保障数据中心各业务系统运行的稳定性与可靠性，数据源接入层面应该优先要建立起完善的保障机制，目前，数据中心已经编制了与各系统接入的接口规范，但规范落地推进相对缓慢，无法满足业务保障的要求。数据湖数据源接入保障文件采集库内直采流采集采用校验文件方式验证，对采集过来的文件进行校验；需要源系统提供校验文件（文件名，数据日期，条数，大小）通过直接连接数据库获取数据；需要源系统提供直采表日志信息，同时需要保证直采表在采集过程中静止通过流连接技术，采集实时数据；需要源系统在交互中提供消息包数量，供数据校验使用。源系统源系统目标系统目标系统源系统目标系统存在的问题制定规范推进源系统进行保障1、源系统提供数据不稳定，导致前端业务使用数据不及时，不准确。2、接口建立不规范，无相互握手机制，数据提供延迟，导致数据中心补录数据流程繁琐、复杂。3、接口规范推进困难，源系统配合改造力度低下。握手机制保障握手机制保障握手机制保障采集和存储高可靠按照输入源存储原数据支持任何类型的数据价格低廉1数据湖数据湖的存储能力SearchAccessQueryProcessArchiveAmazonRDSAmazonDynamoDBAmazonElasticsearchServiceAmazon

GlacierAmazonS3AmazonRedshiftAmazonElasticMapReduceAmazonMachineLearningAmazonElastiCacheSearchAccessQueryProcessArchiveAws存储架构什么类型的数据存储在数据湖中？非结构化数据原始存储格式（logs，dumpfile）图片，音频，视频，任何原始文件。半结构化数据JSON，XMLfile。

结构化数据CSVORC,Parquet等数据中心的存储架构采集和存储高可靠按照输入源存储原数据支持任何类型的数据价格低廉1数据湖目录与搜索1：引入Lambda架构，提升平台流处理和批处理统一视图的能力。2：完善资产管理平台在“数据湖”层面“数据目录与注册”的管控能力3：OCSearch产品，提升平台对非结构化数据的查询和检索能力目录和搜索元数据湖用于概括性的统计和数据分类管理数据发现和管理的简化模型2数据湖批处理和流处理的融合-LambdaLambda框架介绍：Lambda整合离线计算和实时计算，集成了Hadoop，Kafka，Storm，Spark，Hbase等各类大数据组件。Lambda实现了真正的流处理、批处理混合，同时统一了编程接口，使得整体处理架构简单化。架构组件选型：根据四川电信业务特点，实时流数据采用Kafka框架，批处理层存储采用数据湖HDFS；计算采用MapReduce或者Spark；实时处理层采取Storm或者Spark

Streaming，存储采用Redis；服务层查询少量的结果数据当前大数据平台随着数据量的快速增长，数据种类多样化，应用更加丰富，导致数据分析的时间越来越长，基于目前四川电信大部分应用批处理与流处理并行的现状，选择Lambda作为通用架构，助力四川电信构建敏捷化的大数据平台。位置信令数据位置信令全量信息用户历史轨迹视图批处理（循环重新计算）批处理层服务层用户位置流处理用户实时轨迹视图实时计算（增量计算）用户实时轨迹视图1用户实时轨迹视图2实时计算视图用户历史轨迹视图1用户历史轨迹视图2批处理视图查询获取用户轨迹视图合并位置服务场景：数据湖非结构数据检索工具数据检索工具数据源包括结构化数据、半结构化数据、非结构化数据，主要功能包括分词检索、排序、字段组合等功能。数据源结构化数据图像文件声音文件网页文件日志其他知识库检索平台统一计算统一存储HDFS（大文件）Hbase（小文件、结构化数据）Hive（数据库管理）Solr（全文检索工具）数据湖授权认证Kerberosknox授权Ranger审计RangerSolrHDFS数据加密数据传输数据存储通过Ambari，Ranger实现集中配置和管理建立完整的数据湖安全体系授权数据加密保护身份验证和授权访问控制和限制3数据湖API&UIAPIGatewayUI-ElasticBeanstalkAWSLambdaMetadataIndexUsersIAMTVM-ElasticBeanstalk1：满足数据湖中非结构化数据的API开发、封装和开放能力。API&UI将数据湖开放给用户程序化的查询目录开放搜索API确保授权是得到认可的2：引入OCUE产品，提供对数据湖区统一的UI界面。4数据湖数据湖内数据的API封装调用APIAPI路由认证与权限内容解析返回结果数据结果数据脱敏加密数据湖的API封装过程“API封装“围绕认证与权限检验，访问控制，数据脱敏等过程，通过注册信息，针对结果数据设置个性化的脱敏规则及用户数据授权规则，在实际调用时即可对返回数据进行安全控制，保证API调用过程安全合规。结果数据格式转换数据湖访问控制数据湖统一的平台可视化访问界面橘云大数据平台用户操作界面（OCUE）是面向大数据平台用户的可视化操作界面。用户可以在浏览器端的Web控制台上与Hadoop集群进行交互分析处理数据，例如操作HDFS上的数据，运行MapReduceJob等。虽然大数据平台各组件都有自己的使用方式和开发接口，比如Hive提供的命令行终端，但是当用户需要访问多个组件时，需要打开不同的终端或者界面，需要登录不同的系统。OCUE统一了各个项目的开发方式，提供了一个web的界面来开发和调试任务，OCUE能做什么？1，访问HDFS和文件浏览

2，通过web调试和开发hive以及数据结果展示

3，查询solr和结果展示，报表生成

4，通过web调试和开发impala交互式SQLQuery

5，spark调试和开发

6，Pig开发和调试

7，oozie任务的开发，监控，和工作流协调调度

8，Hbase数据查询和修改，数据展示

9，Hive的元数据（metastore）查询

10，MapReduce任务进度查看，日志追踪

11，创建和提交MapReduce，Streaming，Javajob任务

12，Sqoop2的开发和调试

13，Zookeeper的浏览和编辑

14，数据库（MySQL，PostGres，SQlite，Oracle）的查询和展示专题与应用风控专题利剑行动宽带ITV体验卡利剑行动：通过风控模型能够准确掌握客户发展情况、客户来源、终端、价值贡献，实现客户价值管控。宽带：通过风控模型能够准确掌握宽带格局战下新增宽带的质量和存量宽带的质量，实现客户质量管控。ITV：通过风控模型能够准确掌握新增ITV质量和存量ITV质量，实现客户质量管控。体验卡：通过风控模型能够准确掌握体验卡的新增、体验情况、充值转正情况、客户体验期结束后的实际留存情况，未规模发展，实现客户营销管控。目标：建立完整风控体制，管控信息数据的采集、传递、使用和存储。建立智能风控体系，实现各级业务部门对客户价值、质量管理。专题分析宽带虚假用户识别模型支撑：为利剑、宽带、ITV、体验卡建立风险数据模型，协助业管部门完成风险分析及清单下发。专题分析：根据分析结果进行可视化专题的设计，通过不同视角对风险进行监控和识别。深度洞察：利用数据挖掘技术，对宽带虚假用户的识别，协助业务部门完成宽带风险的监控。专题与应用收入保障用户收入全视图新增/存量用户价值各接口/系统的收入及结构各业务的收入及构成用户清单级的收入展现监控报表及分析收入过程的异点监控全收入的异常变化监控关键监控指标的提供重点业务收入支撑及分析专业及深度应用各专业市场、各类重点业务的经营及考核分析支撑模型深入研究收入，提供专题型的决策参考信息，如：发展效益、活动评估、收入趋势等收入保障能力目标总收入：253.61万元融合产品253.61万元单产品253.61万元自主产品253.61万元套餐新增253.61万元成员加入253.61万元保底补差253.61万元电视253.61万元宽带253.61万元手机253.61万元单C253.61万元单宽253.61万元单ITV253.61万元………宽带253.61万元包月功能费253.61万元…用户收入全视图CRM计费结算代理商监控报表及分析收入预测发展效益活动评估决策支撑深度应用专题与应用IPTV专题分析数据应用模块用户发展业务订购活动响应直播推荐关联推荐内容预测节目决策营销决策广告投放…资产管理平台用户订购模型用户行为模型应用商城订购内容分析模型营销活动模型关联推荐模型ITV手机门户IPTV业务在对现有分散业务平台数据整合基础上，利用资产管理平台的各项能力，以应用和数据为驱动，建设具有跨系统、准实时、和面向生产的数据决策与运营的体系。业务目标平台统一整合整合IPTV业务平台数据，进行汇总和整合，以构建多层次业务分析体系，多维度的业务分析模型数据汇总分析基本数据分析功能，包含客户统一视图，用户行为分析，信息查询，常规的统计分析功能以及可视化动态展现功能业务价值挖掘为营销提供精准运营管理，通过用户画像，根据用户兴趣内容和行为画像进行推荐，服务用户，使用户能体验到更个性的差异化服务实时大屏门户专题推荐服务专题与应用光网及无线专题分析告警分析派单分析退服分析投诉分析1、告警排名：按照告警的级别、对应的分公司进行排名和单网元告警数量、退服情况进行告警排名和告警推送。2、质差告警：分析地市全网重点质差类告警（如4G时钟、2\4G驻波、2\4G光功率低、板卡高温），统计网元同一质差告警频次情况。1、派单率分析：用于反查合作伙伴系统漏派单情况，便于完善派单机制，核查系统漏洞。2、遗留工单分析：统计已派单超24/48/72小时遗留告警数量，管理各地市超长告警遗留，避免重要告警不处理影响投诉。1、总退服分析：通过综合监控和考核报表展现各维度退服指标和排名情况。2、退服原因分析：用于分析普网超1.5小时故障原因分类。。3、频繁退服分析：用于分析全量退服类故障各地市高频情况。4、长期退服分析：用于分析全量退服类故障各地市超长情况。1、故障类投诉分析：分析投诉原因中故障类的数据。2、业务异常投诉分析：用于分析业务骤降小区、高流量小区投诉情况。应用层模型层网元事态感知模型网元差异化分析模型网元健康度评估模型…在光网、无线大数据接入的基础上，结合数据中心资产管理平台的各项能力，构建可视化的光网、无线专题分析，通过报表、可视化图形和自动生成分析报告的方式，为业务运营提供数据分析依据。对作业计划的电子运维提供数据与能力支撑应用确定计划作业计划审核计划生成设备指标项目计算公式后台截取计算计划呈现结果查询计划巡检派单基础设备集中操作统一采集适配（设备资料、各项指标采集等）电子运维（Oracle）数据中心清单查询（ES）基础数据（HIVE）数据湖计算语义抽取语义资产管理平台性能指标分专业入库封装指令发起实时返回报文封装指令发起每次2个指标调用实时返回同步数据采集规则及指标规则在作业计划管理，调用资产管理平台“抽取语义”与“计算语义”能力完成性能指标采集加工，为作业计划中的电子运维的“计划呈现结果应用”与“计划巡检派单”提供数据

支撑加工采集P64乡村振兴：20字总要求、7个路径指引、5大振兴总体要求P65生态宜居

是关键乡风文明

是保障治理有效

是基础生活富裕

是根本产业兴旺

是重点农乡村振兴战略规划按照实施数字中国战略、乡村振兴战略、数字乡村战略的总体部署，以产业数字化、数字产业化为发展主线，以数字技术与农业农村经济深度融合为主攻方向，以数据为关键生产要素，着力建设基础数据资源体系，加快农业农村生产经营、管理服务数字化改造，推动政府信息系统和公共数据互联开放共享，全面提升农业农村生产智能化、经营网络化、管理高效化、服务便捷化水平。指导思想发展目标主要任务保障措施2019年12月25日农业农村部 关于印发《数字农业农村发展规划（2019—2025年)》 农规发[2019]33号到2025年，数字农业农村建设取得重要进展，有力支撑数字乡村战略实施。农业农村数据采集体系建立健全，天空地一体化观测网络、农业农村基础数据资源体系、农业农村云平台基本建成。加强组织领导加大政策支持强化数据采集管理强化科技人才支撑构建基础数据资源体系

生产经营数字化

管理服务数字化农业自然资源大数据农业种质资源大数据农村集体资产大数据农村宅基地大数据新型农业经营主体大数据种植业信息化畜牧业智能化渔业智慧化种业数字化新业态多元化质量安全管控全程化农业农村管理决策农产品全产业链数字农业农村服务农村人居环境乡村数字治理国家农业农村 关键共性技术攻关大数据中心农业农村天空地一体化国家数字农业农村创新工程前沿性技术超前布局技术集成应用与示范重大工程建设 技术装备创新人工智能研发应用P66数字农业农村发展规划P67资金

如何

落实责任

如何

落实如何

服务

乡村数据

怎么

采集数据

谁来

采集质量

怎么

保证如何

满足

管理数据

如何

运营设备

如何

维护数据和信息资

源保障层面P68数字乡村运营层面战略实施层面乡村服务层面政府管理层面行业痛点-政府实施行业痛点-基层工作多头管理填报数据今天县委要的这个报表和昨天财政要的报表差不多，怎么又要填一遍！P69张三家的厕改进度咋填呀，我不掌握呀李家屯156户村民的基础信息我得手填一遍，然后再做成电子报表，好麻烦呀！上级叫采集公共厕所的位置，但是这经纬度是个什么？手机定位不是能自己找吗？张老四报的合作社信息，怎么和工商的对不上？又到基层党组织换届了，又要通宵统计组织情况了。。能不能在家就注册合作社，老去县里好麻烦快递都不到村，能不能解决能不能帮我种好地村干部怎么又来搜集信息了，上周不是才过来吗？能不能帮我把菜卖上价钱干部说每人收10元建监控，这个东西我能用吗如何便民提升收入P70行业痛点-村民应用解决对策多渠道采集+系统整合+监管+云资源多渠道采集通过构建基于大数据技术和移动互联网技术的多渠道政府工作数据采集通道和微信小程序群众信息反馈通道系统整合依托三农大数据平台建设，全面整合涉农信息系统，拓宽数据获取渠道监管建设基于数据信息的项目管理监督手段，为三农大数据平台运营实施提供有效保障，助力数字乡村和乡村振兴战略云资源基于云端资源，构建到村信息服务体系，实现数据采集、乡村物流、项目跟踪、信息服务等一条龙服务P71痛点剖析工作量大+数据杂乱+机制难长效+体系不全数据采集监控手段传统基层工作人员实地走访、拍照、信息上报手段落后，纸质材料众多，数据核对和电子化工作量大数据运营工作缺乏基础目前，没有建立到村的数据采集运营团队或者体系，难以对整体实施工作进行有效的保障数据资源涉及面广核对整理难度大三农数据资源涉及面广，数据资源整理核对工作量大长效机制缺乏长效监管机制，工作绩效和项目监管缺少手段解决之道手机移动办公大数据分析决策乡村振兴工作管理P72•

建

设

一

系

列

的

手

机

APP，方便农业部门

领导以及各处室工作

人员通过手机APP随

时随地的进行各项工

作，达到了真正的移

动办公的效果。•

构建诸如村画像、户

画像等各类大数据分

析模型，为各级政府

和农业部门领导提供

决策分析数据支撑，

全面助力乡村振兴战

略工作。• 掌握乡村振兴任务的

进度情况；• 实现农业农村厅/农业

农村委员会工作中乡

村振兴工作动态跟踪、

动态监控，精准管理。业务需求解决方案公共服务市场信息、农