数据治理：数据中台建设与能力提升策略 2024

博睿数据重磅发布1.数据治理是什么2.建设数据治理的背景3.数据中台和数据治理4.Bonree如何做数据治理5.总结01数据治理是什么由于切入视角的不同，不同的机构和组织对数据治理有不同的定义国际数据治理研究所国际数据治理研究所取什么行动。”国际数据管理协会“数据治理是对数据资产的活动集合(规划、监控和执行)。”“指导数据管理活动的权威决策制定和权力的框架”02数据治理的背景·提高数据质量有助于确保数据的准确性、完整性和一致性，为运维团队提供可靠的信息来源·提高数据安全数据治理包括对数据的保护和安全管理，例如访问控制、加密和数据备份·提高数据一致性·支持决策·提高运维水平2.2.运维行业数据治理时的主要痛点·数据质量问题·数据分散和碎片化·技术与工具选择·缺乏数据治理经验·持续改进和优化03数据中台和数据治理在数字化转型浪潮中，为了应对信息孤岛挑战，企业迫切需要构建一个互联互通的平台来打破壁垒，促进信息的高效流通。数据中台作为企业数据治理的核心架构，可以实现数据的统一存储、处理和管理，为业务部门提供高质量的数据服务，成为推动企业持续、高效发展的重要引擎。数据中台帮助整合各种系统、来源、格式的数据，提供统一的存储②数据质量管理③元数据管理数据中台可以建立元数据的管理体系，记录数据的定义、来源关联性，方便数据检索和使用④数据安全与合规数据中台能提供一系列安全跟合规管理，包括数据加密和防控⑤数据分析与可视化数据中台提供的数据服务能够支持可视化分析工具取数，从而实现挖掘等功能，帮助发现潜在问题，优化运维的流程和提高运维水平⑥标准化与最佳实践确保数据治理的一致性和规范性，提高数据治理效3.2.1.数据中台的建设思路1.建设统一的可观测平台思路1思路1集合各个系统，打通前端的登录，快速整合搭建统一的平台思路2思路2从业务、数据、架构等方面全部重新规划调整，整合各个团队骨干从0到1建设统一的可观测平台优点：将数据做全面完整的梳理，夯实数据基础，为后续的信息整合、特征关联、业不足：时间花费长、建设成本高2.利用数据中台建设BonreeONE①一体化解决方案：实现领域建模②分层设计：低耦合、插件化、存储可替换③高并发：多活、去热点、分布式④高性能：攒批、压缩、编码、预处理⑤高可用QQ数据采集层数据接收处理层基础服务层数据存储层应用层3.2.2.数据中台设计设计目标：全数据统一处理、对业务侧屏蔽底层、无编码应对数据处理&建模、提升业务迭代速度、多源多源异构数据多源异构数据应用市场引擎中台能力(数据标准化)推数据治理/数据中台的能力包括数据处理和数据服务。数据处理OneETL能够支持输入、转换、清晰、输出各种算子，同时支持多租户。同时，博睿数据对OneETL做了可视化的编排方式，使其既能处理数据又能做到租户间隔离。而数据中台的另一块核心业务：数据服务，则由OneService来实现，能够提供统一的BQL(业务侧在查底层数据时不会感知到指标不同的存储方式)、联邦查询(不同数据库的指标能够呈现在同一个结果集中)、数据治理(通过指标的元数据看到指标类型与维度然后进一步通过指标查询；根据流量情况，在流量高峰时降级处理数据；提供多租户)等。状态监控json1.使用门槛低，能够实现可视化拖拽，通过DAG实现算子灵活编排2.扩展性好，插件化算子设计能够实现输入、计算、输出算子插件化扩展3.具备日志、json半结构化数据处理能力，支持嵌套结构的节省处理4.部署成本低，与spark/fink相比，自研DAG及算子的部署成本节约一半结果数据<原始数据任务缓存服务发现服务注册指标注册指标模块任务信息获取任务分发OneETL的三个关键技术点技术点一：任务编排DAGDAG(Directedacyclicgraph:有向无环图):如分流后不能有交集·原则：单输物多输出1.易于维护2.灵活性强3.可重用性高4.易于并行执行技术点二：OneETLSPI插件1.松耦合2.扩展性强3.透明化引入SPI插件虽然可以增加灵活性，但把插件包加载到po1.定义插件类加载器PluginClassLoader,通过定义指定的类加载器加载插件、采用默认类加载器会出现NoSuchMethodError2.定义插件发现类PluginDiscovery,通过jar或者指定的pom文件用来发现插件。3.加载指定的插件，加载通过PluginDiscovery发现的插件4.定义打包逻辑，在工程打包的时候通过指定打包方式将插件打包至指定目录供引用插件的模块插件依赖资源管理目标1.对线程资源进行有效管理2.实现资源共享及独享并提升数据集成稳定性及提升资源利用率3.实现公有任务资源共享，私有任务资源独占，并支持共享及独享可切换worker2数据服务ProcessParsePlan元数据定义元数据建模DispatchCalculation元数据规范数据治理租户行为监控性能监控资源监控用量监控租户管理关键能力二、性能提升数据服务关键处理流程3查询流元数据操作Bonree做数据治理的实操七步骤1.明确治理目标和范围2.搭建数据中台基础架构OO器OpanAPIRedisClickhouconflg/entyontrOnoETL3.数据接入与整合将分散在不同系统和平台的数据接入到数据中台，进行统一存储和管理。通过数据整合和清洗，消除重复、错误和不一致的数据，提高数据质量。数据仓库消息队列一拉取Plugins...Plugins..4.元数据管理在数据中台中建立元数据管理体系，记录数据的定义、来源、关联关系等信息。这有助于提高数据的可理解性，方便数据的检索和使用。0H方one.service.service.throughput.reque次次one_apm_datasource_吐neservice.service.throughputroquesiCountPerMi吐ne.servioe.snkoe.eror次one_apm_datasource_gran次neervie而sumgequestcount-0.0.suone,serviee.ervieeperformancee无ono_mpm_datasourco_grantintofocoone.seriee.service.performance.nomma次次one.service.service.performancerespon向应时间isumyequestcount=0,one,servke,serviee,performaneeresponone,ervke.servikeperfomancereapomone,serviee,servieeperformanceresponsone_apm_datasource_minjmin_response_tiservice.seniceperfomancerea向应时间次次service.performancc.ver次次无%one.sericeserniceperformance.verySlo无%one,serviee,servicetraceollectio次次0one,servie,servieetracediean次次5.数据安全与合规确保数据中台的安全和隐私，实施访问控制、加密、备份等措施6.数据服务开放通过数据服务层，将数据中台中的数据以BQL、数据报表等形式提供给业务部门。这有助dimension['serviceld']asservicelfrm(metric['one.service.sum(metric['one.service.instance.performance.normalCount'])assum(metric['one.service.instance.error.errorRequestCount'])as"errorCount",sum(metric['one.service.instance.throughput.requestCount']andmonitor_time<'2024-06-1213:7.数据治理流程和策略优化根据数据治理的实际效果和需求变化，不断优化数据中台的治理