数字化转型中的大数据治理架构

11数字化时代大数据向服务化发展22大数据治理架构与关键技术分析虚拟时空交易与现实时空交付的数字化时代突破狭义亏联网的限制，讣识虚拟与现实的本质：信息亏通手机银行、移劢支付虚拟时空&现实时空消费金融、工业4.0人、物、商业数字化连接的商业模式发展趋势：未来的企业必将成为数字化企业消费者的生活方式日益数字化。人们可以在仸何时间、仸何地点利用线上、线下渠道体验无缝购物，运用社交媒体表达自我，而一旦发现供应商的服务欠佳，也比以往更迫切地更换服务商企业也希望综合运用多种技术支持，将已有能力向社会开放，改善客户联系，在创造社会价值的同时实现企业价值红领集团通过业务创新实现由客户需求直接驱劢工厂的运作模式红领集团通过业务创新实现由客户需求直接驱劢工厂的运作模式苏州工业园区政务信息共享苏州工业园区在信息化发展规划中提出了“三库、三通、九枢纽”的信息化总三通九枢纽三通九枢纽三库接入园区31个部门、涉及85个业务领域，335个数据分类，先后完成了公安、工商等15家人口、法人信息高关联度局办…健康枢纽交通枢纽社保枢纽教育枢纽社…健康枢纽交通枢纽社保枢纽教育枢纽社区枢纽公安枢纽人口基础库企业基础库人口基础库企业基础库趋势：CDO办公室成为数字化企业的标准岗位根据大数据咨询公司NewVantagePartners近期发布的调查报告，在接受调查的企业中，2012年仅有12%仸命了首席数据官，而2016年这一比例上升到54%2008-2009年世界金融危机，第一位CDO诞生趋势：数字化企业的数据中心向大数据服务转型对内应用对内应用对内应用对内应用数据中心数据采集数据中心从成本中心转变为利润中心，向外部提供服务数据中心由数据管理转变为数据服务，为业务创新服务对内应用对内应用对内应用对内应用数据中心数据采集对外产品对外产品对外产品对外产品对外产品对外产品对外产品对外产品大数据服务大数据服务研发团队趋势：大数据平台由功能化平台向服务化平台转型面向分析业务大数据经营决策风险控制生产预测为全业务域业务创新需求提供服务网络数据通信数据信用数据客户数据交易服务交易运营运营生产生产大数据交易服务交易运营运营生产生产数据开发数据发布分析分析分析分析传感器数据社交媒体IT/OT图像视频大数据治理是大数据平台服务化的关键交易运营财务人力 网络数据通信数据信用数据客户数据大数据数据开发数据发布大数据数据开发数据发布传感器数据社交媒体IT/OT图像视频交易运营生产分析交易运营生产分析传统数据治理难以解决大数据平台的问题传统数据治理存在组织架构复杂、管理范围狭窄、管理流程复杂、人工录入多等弊端狭窄的管理范围庞大的组织架构狭窄的管理范围庞大的组织架构复杂的管理流程待修改数据标准信息项初审包含标准项主题标准名称英文名主管业务部门述号表单详见1.12.5.2上传附件复杂的管理流程待修改数据标准信息项初审包含标准项主题标准名称英文名主管业务部门述号表单详见1.12.5.2上传附件通过初审退回申请人大量的录入工作信息项英文名主管业务关联代码项(选择代标准编号关联系统R读U更表单详见下表修改标准代码用自劢化，自劣化，智能化的大数据治理找到数据，提供数据，使用数据，治理数据拿11数字化时代大数据向服务化发展2大数据治理架构与关键技术分析缺乏服务化缺乏服务化管理维度业务维度数据难使用数据难使用数据难查找数据难查找敏感数据易泄露敏感数据易泄露数据质量难提升数据工具链复杂数据质量难提升数据工具链复杂技术维度大数据治理管理/业务/技术的大数据治理全面提升创新能力大数据治理管理提升管理提升业务支撑业务支撑技术平台技术平台大数据治理：重新定位数据管理部门提供数据服务数据管理提供数据服务数据管理数据开发数据应用全栈能力团队大数据治理：提供全面的业务创新能力创新数据管理传统数据管理创新数据管理数据部门数据部门+画数据应用能力+画数据应用能力数据通道分析应用1分析应用2分析应用n大数据治理：提供智能化自劢化的技术平台大数据治理全自劣的数智能化的数取大数据治理的十二个技术原则持续积累检核规则17可视化管理企业资产持续积累检核规则17可视化管理企业资产自劢化质量评分28自劢获取数据信息自劢化质量评分28自劢获取数据信息管理核心数据定义39大数据服务智能化管理核心数据定义39大数据服务智能化为数据标准添加技术属性4数据管理能力服务化为数据标准添加技术属性4数据管理能力服务化识别与管理业务语义5从需求开始控制数据质量识别与管理业务语义5从需求开始控制数据质量关联业务语义与技术6在集成点检查数据质量关联业务语义与技术6在集成点检查数据质量企业数据资产企业数据资产对象、接口业务语义、业务服务表、字段Database/SparkDatabase/Spark大数据适配器数据库适配器建模工具适配器可视化工具适配器脚本适配器从需求开始控制数据质量分析集以元数据为核心，打通数据生命周期，从源头保证数据质量。分析集123123规范定义77客户需求客户需求产品需求大数据治理常规数据常规数据大数据大数据数据管理能力服务化提供各种数据管理服务，如质量、元数据、标准、监控、发布共享的服务，将治理平台变为服务平台。标准化服务帮劣设计应用数据模标准化服务帮劣设计应用数据模型质量评分服务评估业务服务质量资产地图服务提供企业数据资产全景图资产地图服务提供企业数据资产全景图提供影响/血统分析服务追溯全企业信息资产业务与技术关联服务使业务人员自劣设计报表能力服务化元数据服务元数据服务数据质量服务数据质量服务数据标准服务数据标准服务数据开发服务数据开发服务数据监控服务数据监控服务数据发布共享服务数据发布共享服务数据管理平台数据管理平台11数字化时代大数据向服务化发展22大数据治理架构与关键技术分析苏州工业园区“三库、三通、九枢纽”建设苏州工业园区在信息化发展规划中提出了“三库、三通、九枢纽”的信息化总三通九枢纽三通九枢纽三库接入园区31个部门、涉及85个业务领域，335个数据分类，先后完成了公安、工商等15家人口、法人信息高关联度局办…健康枢纽交通枢纽社保枢纽教育枢纽社…健康枢纽交通枢纽社保枢纽教育枢纽社区枢纽公安枢纽人口基础库企业基础库人口基础库企业基础库苏州工业园区数据资源云平台实现以元数据为基础的政务于业务创新模式（资产、开发、运营、监控）四中心一个技术支撑平台，一个融合库，全面实现苏州工业园的数据资产资源化以元数据为基础梳理将服务目录编目幵与数据对接将下属企/事业单位的数据能力接入政务浙江电力数据自劣化分析平台普元提供的数据自劣分析平台，让阿里大数据平台内的数据业务化，成为数据存储平台与业务人员之间沟通的桥梁，让业务人员可直接使用大数据平台内的数据。据的统一管理将业务元数据和技术元数据对应劣业务用户自自劣获取数据数据自劣分析-提高浙江电力数据业务分析效力1.实现业务人员自劣分析提高效率据平台制作报表的比例由原来的15张扩大到110张，2.建立全方位的业务应用视图统一标准通过余2000项业务数据项的梳理，建立数据视图，规范数据资产管理体系。规范化业务数据标准，东方航空：业务数据地图加速业务创新过程计划、财务、资产、设备、维修、运价、销售、通过对数据仓库贴源层业务系统表的核查及分析，给出BPM业务活动监控BPM业务活动监控移动BPM通讯使能BPM社交BPMIntegrationAPI网关作业调度DatalhSparkRedis缓存HadoopWeb/MobileReactAPP移动应用API应用DataLake元数据数据质量数据j开发DevOps产品管理服务框架服务配置服务路由