华为政务大数据解决方案

Huaweiconfidential.放管服：“伤筋动骨”也要做到“六个一”企业开办时间再减少一半；项目审批时间再砍掉一半；政务服务一网办通；办事只进一扇门；最多跑一次；没有法律法规规定的证明一律取消；Huaweiconfidential.服务慧民系统共治数据慧治平台融合政务信息化创新发展新理念服务慧民系统共治数据慧治平台融合“十三五”政务信息化工程建设规划将顺应信息化发展大趋势“十三五”政务信息化工程建设规划将顺应信息化发展大趋势，继承和发展“十二五”科学理念，更加突出大系统共治、大数据慧治、大服务慧民、大平台融合；大平台融合：建设统一大平台提供集约化基础设施服务；大数据慧治：全省信息共享、数据开放、社会大数据应用，提供决策与治理水平；大系统共治：全省规划针对跨部门、跨地区大系统有效支撑协同共治；大服务慧民：统一政务服务平台带动公共服务事项的深度一体化融合；成立了中央网络安全与信息化领导办公室Now了号号成立了中央网络安全与信息化领导办公室Now了号号合共享应用试点的通知》（含十三五规划）有9省发文通过大数据实现“用数据说话、用数据决策、用数据管理、用数据创新”，提升经济管理能力，建设经济运行平台成为政务大数据的共性需求。习近平主持中共中央政治局第二次集体学习：推进推动实施国家大数据战略市场驱动-由云到数政务云城市/政务大数据时代政务云2017.12.8全国29省已出台大数据发展规划2017.12.8•成熟市场，已经进入后半场，政务云80%省级、60%地市已建设；•云计算基础资源是基础服务保障，政府主要采购云服务，非关注重点；6政务大数据领域四个重要国家发文解读国家文件发文时间发文任务完成时间9个：北京市、江苏省、浙江省、福建省、山东省、河南省、广东省、四川省、贵州省统向国家电子政务内网或外网迁移，对整合后的政务信息系统和数据资源统一接入国家数据共享交换平台。初步实现国务院部门和地方政府信息系统互联互通，推动政务信息化建设模式优化，政务数据共享和开放在重点领域取得8个：北京、上海、江苏、浙江、福建、广东、陕西、宁夏务综合试点方案，结合本地实际制定具体的试点实施方案（要点细化试点内容、保障措施，报送中央网信办、国家发展改革委等有关5个：北京、上海、浙江、福建、贵州于2018年1月底前，试点地区要结合实际抓紧制定具体实施方案，明确试点范围，细化任务措施，报送中央网信办，同时抄送国办信息公开办、国家发展改革委、工业和信息化部。城市大数据政府大数据部门数据城市大数据政府大数据部门数据大数据时代政务大数据与城市大数据大数据时代数据流通市场数据流通市场行业大数据大数据产业共享交换时代共享交换时代200220042007201220142015201620172018Huaweiconfidential.7大数据建设两种模式业务维度政府从重点业务建设，完成基础平台，并整合试点；1、典型应用：发改委信用平台、宏观经济运行分析、行政效能分析……3、缺点：部分业务建模分析复杂；复用性不好；持续开发性不足。平台维度政府从大数据平台建设开始，完成数据共享、数据采集、数据治理等，并结合业务试点；1、典型应用：数据共享平台、四大基础数据库、大数据采集分析平台……2、优点：统建共享、持续性强、未来开放性、利用率高；3、缺点：先期投入较大。政务大数据建设场景建设人口、法人、地理信息、电子证照基础资源库或信用、互联网等主题库/产业发展应用：农业大数据、工业大数据等、经济运12341234华为政务大数据解决方案：“一云一湖一平台”Huaweiconfidential.11Huaweiconfidential.大数据能帮政府做什么率”、“脱型走样”、“观望症”执行能力决策能力台”，“企业唱戏“”民众看戏”政务大数据平台目标和定位能和机制，为政府数据资源的流通提供技术支撑；岛”，实现“三融五跨”；定位定位设计要求设计要求Huaweiconfidential.12341234技政务云变革的演进技术趋势虚拟化资源为中心应用为中心生态圈的变化ü软件提供商ü项目集成商ü软件提供商ü软件+云平台的项目集成商ü云服务提供商ü云服务提供商业务系统3业务系统2业务系统1业务系统3业务系统业务系统3业务系统2业务系统1业务系统3业务系统4业务系统2业务系统1薄平台、重应用厚平业务变轻业务变轻平台变厚平台变厚业务系统业务系统4Huaweiconfidential.云平台大数据平台商务经济监测工业经济监测经济运行监测农业大数据工业大数据全理管疗慧市游………………云平台大数据平台商务经济监测工业经济监测经济运行监测农业大数据工业大数据全理管疗慧市游………………数据共享交换平台应用数据库 大数据服务平台物联网数据类服务数据服务数据治理企事业物联感知 数据类服务数据服务数据治理企事业物联感知 数据服务数据接入一云：云数融合功能架构SaaS应用应用应用支撑服务应用支撑服务持续集成框架（Pipeline）应用中间件服务应用（容器）云管理应用类服务微服务治理开发流水线代码版基本基本云服务 基础资源服务容灾备份服务物理服务器虚拟机廊坊务12341234部服务一湖：需求及思路高质量的数据治理高质量的数据治理高效的大数据平台运营与运维保障丰富的数据应用使能与开放有机融合的多计算框架多源数据采集能力用的易用性•脱敏后的数据向社会开放•数据处理计算能力的开放•社会算法与技术的引入Huaweiconfidential.21总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理ii标准规范体系安全保障体系运维服务体系运营服务体系运营服务体系应用层舆情大数据创新创业大数据健康服务大数据政府决策支持中心社会保障大数据公共信用大数据公共安全大数据一带一路大数据服务业大数据宏观经济云图惠民通APP………………平台层大数据集成开发框架大数据能力开放模型管理……数据集成与整合BI分析人工智能AI数据挖掘服务共享服务目录服务生命周期管理服务发布大数据集成开发框架大数据能力开放模型管理……数据集成与整合BI分析人工智能AI数据挖掘服务共享服务目录服务生命周期管理服务发布……服务监控资源目录管理资源目录管理数据资源管理交换前置系统交换前置系统元数据管理数据归集系统数据模型管理数据标准管理数据归集系统数据模型管理数据标准管理数据质量管理数据共享交换数据共享交换数据流程管理………数据层公共公共服务食品安全健康健康保障价格监管社会保障城乡社会保障城乡建设能源安全应急维修安全安全生产社区社区治理生态生态环保网络舆情………人口人口宏观经济法人单位电子证照空间地理社会信用住建…教育…住建…教育……文化交通金融库农业工业基础层分布式存储虚拟机流式数据计算引擎云存储服务分布式数据库物理机……分布式计算引擎云安全服务分布式存储虚拟机流式数据计算引擎云存储服务分布式数据库物理机……分布式计算引擎云安全服务内存计算引擎网络服务……政府部门数据社会化数据互联网数据①数据源数据共享数据采集和数据归集部门业务库1部门业务库2部门业务库216②原始数据归集资源池……45③数据清洗得到的中心库、基础库等主题数据……④主题数据资源⑤专题分析数据库3库⑥用于分析的指标政府部门数据社会化数据互联网数据①数据源数据共享数据采集和数据归集部门业务库1部门业务库2部门业务库216②原始数据归集资源池……45③数据清洗得到的中心库、基础库等主题数据……④主题数据资源⑤专题分析数据库3库⑥用于分析的指标视化呈现2数据源数据归集数据治理和分析利用数据共享部门应用数据流大数据综合运行中心大数据综合运行中心专题分析数据专题分析数据基础数据层基础数据层原始数据层⑦部门应用数据⑦部门应用数据总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理大数据分层模型Huaweiconfidential.24总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理应用前应用后大数据应用1：“一号一窗一网”政务服务应用前应用后总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理省级政府网上政务服务能力地区分布图大数据应用2：政务服务行政效能分析省级政府网上政务服务能力地区分布图省级政府网上政务服务能力指标分析省级政府网上政务服务能力指标分析数据来源：国家行政学院电子政务研究中心《中国电子政务发展调查报告》Huaweiconfidential.评价体系：>建立行业监测模型>监测行业发展指标评价体系：>建立行业监测模型>监测行业发展指标>对增速过高、过低进行预警监测预警：2015年度有色金属冶炼和压延加工业、化学原料和化学制品制造业、黑金属冶炼和压延加工业、通用设备制造业增速过低行业发展情况分析预警 数据汇聚融合评价体系建模行业发展情况分析预警以以GDP增长率为参考标准，对行业发展速度进行监测总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理大数据应用4：信用大数据平台总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理 印度 人口空间地理分布聚集地、居住、迁移、跨市工作等）印度大数据应用6：舆情分析大数据平台7亿多网民的实时数据汇聚，能够获取到网民当下的情绪、行为、关注点和兴趣点、归属地、移动路径、社会关系链等一系列有价值的信息。政府部门在出台社会规范和政策时，可以避免个人意志带来的主观性、片面性和局限性，降低决策风险>海量非结构化数据，分析难度大>秒传播时代，及时响应要求更高>对解读和运用数据的能力要求更高总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理大数据应用7：重点企业风险监控平台痛点与问题痛点与问题基本原则基本原则◆预防为先◆快速处置◆依法依规监控措施监控措施◆制定14项监控指标总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理分析应用领域 综治维稳数据源ü客户决策辅助ü诱因关联分析ü建立事件处置知识库ü推进综治维稳工作重点关注领域转变各种渠道。●各类数据源分析应用领域 综治维稳数据源ü客户决策辅助ü诱因关联分析ü建立事件处置知识库ü推进综治维稳工作重点关注领域转变各种渠道。●各类数据源•信访局（信访数据）•综治办（问题隐患、矛盾纠纷）•公安局（群体性事件和治安警情）•人力资源局（劳资纠纷数据）建模与挖掘建模与挖掘••事件诱因挖掘•综治维稳主题库•趋势分析模型•数据关联比对•经促局（经济数据）•其他局办等总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理大数据应用9：产业发展-农业大数据总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理大数据可视化-IOC总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理大数据可视化展示—共享交换情况数据交换全局视图总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理互联网数据物联网数据互联网数据物联网数据政务大数据基本组成及特点政务大数据社会化数据权利运行数据社会化数据权利运行数据政务大数据与其他领域大数据相比具有鲜明的特点：政务大数据与其他领域大数据相比具有鲜明的特点：体积大，增速高：涵盖经济社会管理的方方面面，数据积累量巨大。每年处理的数据呈指数级增长。种类多，价值大：以宏观经济基础数据为例：涵盖经济、社会、医疗、环境、工农业、教育、旅游等社会关键领域数据，具有极为重要的社会和经济价值。垄断性，难获得：政府部门及公共企事业单位采集数据有些是专营的业务，一般企业是采不到，也买不到。采集多种数据源统一数据采集平台政府信息共享交换平台政府信息共享交换平台共享平台已有数据各部门业务数据社会类数据政务类数据数据采集电商1.1.建立数据共享机制，统一信息资源汇集、存储和管理方式，形成数据标准规范2.强化联通共享，实现跨部门、跨业务、跨区域的信息安全共享总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理基于大数据的数据共享交换网数据应用支撑数据应用支撑换层库库户用载理中心库交换配置管理交换监控管理交换系统管理数据交换数据共享交换前置子系统交换传输子系统交换桥接子系统ne1、大数据平台(华为FusionInsight)2、交换应用系统3、交换管理系统4、数据处理系统5、数据质量管理7、数据服务层8、数据应用支撑层数据接口服务（包含数据的注册、创 trpiehicm·H。Cnfdnt。139 电商物联网总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理电商物联网社会类数据采集：网络数据采集系统企业企业总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理Huaweiconfidential.政府大数据管控难题XX市电子政务资源中心数据质量情况问题：政务数据来源庞杂、数据不一致，质量低下，缺乏动态数据，共享互通成为瓶颈，大数据价值难于发挥核心业务支撑未来数据正在产生的数据事前防范事中监控事后治理基础工具数据标准数据模型质量评估质量清洗质量提升核心业务支撑未来数据正在产生的数据事前防范事中监控事后治理基础工具数据标准数据模型质量评估质量清洗质量提升数据治理总体架构历史数据历史数据质量管理质量管理FusionInsight基础平台总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理数据标准管理数据质量好坏的评价数据质量好坏的评价度量指示器，从元信息、数据标准、数据质量规则等角度形成企业级数据模型、数据操作规范、数据质量要求以及数据改进提升的数据治理核心功能和业务应用，可以自动生成数据质量稽查报告。问题证据化总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理Huaweiconfidential.数据质量提升总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理元数据管理数据汇聚、融合数据汇聚、融合总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理大数据指标分析指标分析济伍平域构构伍理Huaweiconfidential.场景特点>类型繁杂：支持多种数据来源场景特点>类型繁杂：支持多种数据来源，数据类型繁杂；既有结构化数据，又有文本数据。>数据量大：对PB/TB级以上数据检索优势更明显。>条件模糊：查询时输入条件不精确，有些只有关键字。>时延低：交互式查询，结果实时展示，响应时延低。政务百度3Solr,保存到全文索引库中1智能检索高级查询二次查询HBASEHDFS云搜22233实体属性关系查看实体属性关系查看关系扩展（多层）实关系扩展（多层）体、关系搜索路径分析数据隐私保护原则1.合法性原则2.透明原则3.数据主体参与原则4.目的限制原则5.最小化原则6.准确原则7.安全原则8.可追溯原则数据隐私保护原则1.合法性原则2.透明原则3.数据主体参与原则4.目的限制原则5.最小化原则6.准确原则7.安全原则8.可追溯原则5.数据开放安全4.安全分析平台和数据安全管控体系设计面向用户需求领域，聚焦基础设施安全、数据的隐私保护、数据管理安全和大数据安全分析，推动大数据安全合规和认证，全面使能支撑客户数据安全。22.数据管理安全1.基础设施安全3.隐私保护数据生命周期安全数据安全分析与运营总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理OMSCASLDAPMRKDCHBaseHiveOozieZkHDFS业务开发用户运维用户Hadoop体系安全加固的部件体系OMSCASLDAPMRKDCHBaseHiveOozieZkHDFS业务开发用户运维用户总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理角色设置务分配给相关人户为租户管理员8、租户运营者为项角色设置务分配给相关人户为租户管理员8、租户运营者为项租户创建角色大数据平台部门B实时应用1实时应用2实时应用X部门A部门A部门B应用A应用B应用A应用B实时应用1实时应用X实时应用2应用A应用A应用B应用BHiveHiveAHBASE1HiveBHBASE2HBASEXHBASEQACPU/内存/存储多应用物理资源竞争CPU部门B实时应用1实时应用2实时应用X部门A部门A部门B应用A应用B应用A应用B实时应用1实时应用X实时应用2应用A应用A应用B应用BHiveHiveAHBASE1HiveBHBASE2HBASEXHBASEQACPU/内存/存储多应用物理资源竞争CPU/内存/存储多服务实例，实例级资源隔离多应用逻辑资源竞多应用逻辑资源竞争QQAQB特性功能：特性功能：一个集群中支持部署多个服务实例（如H总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理可视化的集中用户权限管理可视化的集中用户权限管理，易用、灵活、可视化的集中用户权限管理，易用、灵活、精细u可视化的多组件统一的集中用户权限管理，易用u基于角色的访问控制（RBAC预定义权限集（角色）可重复使用，灵活uSQL引擎（HBase/Hive/SparkSQL）多层次（数据库/表/列级）、细粒度（Select/Delete/Update/Insert/Grant）授总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理公共数据平台安全管理数据资源授权机制：1、设置安全组：可对应不同安全级别数据资源，根据数据资源安全定义原则赋权到安全组；2、用户授权：1）可选择对应安全组进行授权；2）也可以直接通过数据表进行授权；安全组用户安全组1用户1用户2用户3用户4用户5安全组2安全组3安全组4安全组5数据授权机制公共数据平台安全管理数据资源授权机制：1、设置安全组：可对应不同安全级别数据资源，根据数据资源安全定义原则赋权到安全组；2、用户授权：1）可选择对应安全组进行授权；2）也可以直接通过数据表进行授权；安全组用户安全组1用户1用户2用户3用户4用户5安全组2安全组3安全组4安全组5数据表（字段）等级种类数据表（元数据）总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理大数据平台的安全日志审计用户安全认用户安全认证 用户管理•修改用户权限络络记录操作事件审记录操作事件审计记录操作结果审记录操作结果审计审计日志统计查询审计日志统计查询 告警管理审计管理•导出审计日志 系统管理•配置监控阈值 ……u解决方案支撑特性：•审计覆盖需求范围：访问层日志记录要求、数据存储层日志记录、数据获取层日志记总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理隐私保护-集中数据中心下的“数据脱敏/雾化”解决策略环节环节核心字段加密，其他非核心脱敏Mask，统一的安全服务控制，可以确保数据出口的整体安全。数据管理数据开放 数据洞察数据计算与存储 数据管理数据开放 数据洞察数据计算与存储 数据采集数据源数据生命周期安全应用元数据分析：包括数据模型的影响分析、血缘分析、全链分析图等数据模型管理：包括数据结构、存储规则、安全隐私规则、质量规则等总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理元数据分析：包括数据模型的影响分析、血缘分析、全链分析图等数据模型管理：包括数据结构、存储规则、安全隐私规则、质量规则等数据资产管理–核心功能界面截图数据资产地图：直观地查阅数据分布、数据关系等信息数据质量监控数据质量监控：按质量规则、分层分域等维度监控数据质量问题总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理大数据服务化：按需申请11、用户浏览服务目录，根据需求，选择服务提交申请。22、系统执行服务申请，自动生成服务3、管理员收到待审批申请单后，批准用户的服务申请。44、调用资源池的API进行资源发放。55、通知用户服务申请结果。资源按需申请、快速发放资源按需申请、快速发放，支撑业务快速上线、资源即时申请总体架构应用场景数据展示数据汇聚数据治理数据分析数据安全数据管理物理网络1、用户浏览服务目录，根据需求，选择服务提交申请。2、系统执行服务申请，自动生成服务3、管理员收到待审批申请单后，批准用户的服务申请。传统存储4、调用资源池的API进行资源发放。 OS器FI实例 OS器FI实例 OS器FI实例 OS器FI实例物理网络1、用户浏览服务目录，根据需求，选择服务提交申请。2、系统执行服务申请，自动生成服务3、管理员收到待审批申请单后，批准用户的服务申请。传统存储4、调用资源池的API进行资源发放。 OS器FI实例 OS器FI实例 OS器FI实例 OS器FI实例FI实例FI实例FI实例FI实例虚拟网络OS器OS器OS器OS器5、通知用户服务申请结果。NovaCinderGlanceIronicNeutron资源自动化服务服务目租管计管理 VMware Hyper-V VMware Hyper-V 华为虚拟化虚拟化集群物理机集群FI:FusionI12341234大数据服务管理平台定位和目标•作为政务与社会应用的使能开发平台•作为政府对市民、产业服务的创新平台•基于PaaS平台能力将大数据支撑平台、各种数据开发、应用工具和组件服务化，建立数据开发服务市场和目录•上层部门根据开发需求在服务目录中选取合适的组件，点击快速部署、数据处理和开发•随着数据应用的开发，不断发现新的工具、组件以及能作为平台公共能力的应用•添加到服务市场，不断丰富和完善，加速数据资源的开发与应用目标定位：目标定位：统一构建大数据应用使能PaaS平台，使得委办局和第三方能快速开发大数据应用，释放数据价值服务对象：委办局数据分析人员，或其大数据应用开发商实现策略：基于PaaS服务平台提供的能力，逐步将各种数据开发、分析工具与平台服务化，构建数据开发服务目录，是一个长期不断丰富和完善的过程，可以随着新应用的开发而逐步积累……….…软件仓库开发者1应用镜像上传软件仓库开发者1应用镜像上传部署调度引擎2应用部署3亲和调度4软件下载替换升级滚动升级原地滚动升级应用快速部署实现应用快速上线应用自动升级应用快速部署实现应用快速上线应用自动升级不中断业务运行,保障业务不中断；也可以实现版提升资源利用率动态弹性伸缩动态弹性伸缩先将线上应用下线，再部署新应用实例可以根据CPU/内存的使用情况，自动伸缩应用实例先将线上应用下线，再部署新应用实例定时弹性伸缩定时弹性伸缩多节点依次序升级，保证应用业务持续运行应用资源池可以设置在某个具体时间点，自动扩展或缩减应用实例多节点依次序升级，保证应用业务持续运行应用资源池周期弹性伸缩周期弹性伸缩新应用实例在原有实例的资源上重新部署，可以实现有状态的应用持续运行新应用实例在原有实例的资源上重新部署，可以实现有状态的应用持续运行FusionStage平台提供第三方应用托管功能，提供从部署到运维全生命周期管理，以及自动弹性伸缩、亲和/反亲和等高级运维功能，支撑应用快速上线应用支撑服务管理平台-服务目录Capability1Capability1Capability中国区政务云市场No.1中国区大数据市场No.1StrategyStrategy全球布局、全面覆盖大数据领域关键技术全球布