大数据时代的数据治理

1、大数据时代数据治理8月Data governance in the era of big data1/11数据平台发展 19811999198819921996数据平台发展情况第一个DW“数据仓库”概念提出数据集市传统数据仓库兴起Hadoop项目诞生大数据计算大数据处理新一代数据平台时间数据之间没有统一标准数据难以快速集成和共享数据使用者无法了解数据模型数据质量问题堪忧跨平台数据传输困难难以基于海量数据进行业务创新2/11当前大数据平台突出问题 数据不可知数据不可控数据不可取数据不可联3/11数据治理价值用大数据治理连接大数据与业务创新4/11大数据治理阶段摸家底全方面梳理企业信息自动构建数据

2、资产库01建立数据标准提升数据质量02建体系形成企业知识图谱为全企业提供数据价值03促应用5/11处理各类元数据采集；实现统一稳定元数据存放；完成关系获取和建立数据资产自动化采集、存放人工智能知识图谱构建自助化数据服务构建技术经过合理技术找出数据问题并找到问题数据；从各个维度监控数据问题，并能经过最直观和快捷方式反馈给相关责任人；实现问题发觉、认责、处理、归档等数据问题闭环处理流程等数据质量探查和提升技术大数据治理关键技术 6/11大数据治理工具1元数据数据质量主数据单个工具2数据资产管理数据治理平台自助服务平台集成平台7/11大数据治理工具-元数据管理工具全方面数据管理能力元数据管理范围：传

3、统数据、大数据、工具、模板对资产信息自动获取：自动数据信息采集、自动服务信息采集与自动业务信息采集支持一系列采集器，而且多采取直连方式来采集相关信息。清楚直观、操作便捷能在一个界面全方面了解到元数据信息经过图像从更多维度、更直观地了解企业数据全貌和数据关系经过H5等流行展现技术实现各浏览器兼容支持界面移植关注用户诉求、结合使用场景对业务人员：经过元数据管理业务需求管理，能更轻易地和技术人员沟通，便于需求技术落地对开发人员：经过元数据管理能管控系统开发上线、提升开发规范性，自动生成上线脚本，降低开发工作难度和犯错几率对运维人员：经过元数据管理能让日常巡检、版本维护等工作变得简单可控，辅助日常问题

4、分析查找，简化运维工作。8/11大数据治理工具-自助化数据服务平台数据获取数据准备数据服务开发数据共享公布keyword找到数据自助化业务元数据与技术元数据对接；自助化数据申请和订阅。提供数据自动化基于数据目录数据服务开发；在线编辑数据模型，生成作业。使用数据规范化数据服务标准应用方式；数据通道提供平台支撑。治理数据可视化基于数据地图形成全链路监控；事前、事中、事后数据质量检验。数据运维智能化全局数据资产监控数据问题跟踪能力9/11大数据治理产品亿信华辰-睿治普元baidu-数据众包全配置、自布署、零干预；动态缺失数据探查多维接入，自动化血缘与影响力分析数据团体一站式数据众包服务，可依据特定领域、特定场景客户需求，提供定制化数据获取与加工方案设计与执行服务， 为客户交付标准化结构化可用数据，数据类型涵盖文本、图像、音频、视频、网页等。平台化、可视化、智能化睿治是一款覆盖数据全生命周期数据治理平台，它经过对数据从创建到消亡全过程监控和治理