2024年大模型赋能数据治理方案

目录数据治理体系0102大模型赋能数据治理03结语01数据治理体系核心理念力维数据治理体系的核心理念：过程与成果并重，以成果引导过程过程“行”必有据“行”必有果最终成果成果“行”必有“管”体系建设流程通过将业务、制度、技术深度融合建设数据治理流程，保障技术体系的高效、稳定运行，主要包含数据质量管理、元数据管理、数据共享等流程技术通过技术体系建设保障业务目标能够实现、制度体系能够落实，最终实现战略目标，技术体系建设主要包含数据汇聚、数据存储、分类分级、数据开发等技术内容以推进数据质量提升、保障数据安全为基本目标进行“建章立制”，基本内容包含数据质量管理、元数据管理、数据共享使用等制度制度战略根据组织实际情况，建设长期战略、短中期目标业务将数据战略与组织业务进行深度融合，制定组织各项业务目标，并逐步实现0105040203数据治理体系过程建设标准设计数据汇聚数据服务数据质量数据架构数据分析元数据管理以“最终成果”为总目标、阶段成果为分级目标将数据治理工作“化整为零”过程管理的核心01对内，推动数据治理工作高质量持续开展02对外：推动各参与方持续配合数据治理工作过程管理—任务池管理0102030405数据架构数据汇聚数据质量管理数据安全管理元数据管理1009080706……数据标准数据资产数据服务数据融合建模分析数据治理任务池以“数据战略”为导向，构建阶段性目标并以此为基础，建设数据治理任务池用以指导整个周期的数据治理工作过程管理—数据质量报告设计数据质量明细报告质检报告是是数据质量管理工作的重要产物，是推动数据数据治理工作的重要推手数据质量明细报告面向业务专项的数据质量报告，主要描述了数据可用的部分数据质量驾驶舱面向领导层的数据质量报告，重要描述项目所涉及数据的质量分布和走势问题数据报告面向数据来源部门的记录级问题数据清单数据质量驾驶舱问题数据明细02大模型赋能数据治理大模型与数据治理的关系数据治理通过数据治理工作的推进，数据质量不断得到提升，不断提升大模型所需数据的语料质量大模型大模型的分析计算能力使数据质量问题更加精确并丰富数据治理的技术、业务手段赋能体系建设01提示词根据用户性格、兴趣点等因素构建提示词便于用户快速访问，快速交互，提升对数据治理过程的参与感、获得感02数据治理知识库建设基于数据治理阶段性过程及成果（含每个实施阶段的成果）、总体成果建设知识库03业务知识库建设基于调研记录、官方材料、建设内容、数据标准等材料，建设业务知识库知识库建设交互能力库建设赋能途径如何赋能？01提质提升数据治理对业务的服务质量，加强业务在数据治理过程中的参与感02降本降低数据治理实施成本，主要包含时间成本、业务损失成本等03增效丰富数据治理手段，提升数据治理效率赋能途径大模型对数据治理工作的赋能主要体现在提质、降本、增效三个方面提质—术语体系建设主要包含业务领域、

业务流程、

业务规则、

业务需求、

业务价值、数据质量要求主要包含技术实现路径、

技术标准、技术规范等信息主要包含数据类型、

数据来源、

数据格式、

数据长度依托大模型的理解能力，建设符合业务场景的术语体系，使数据部门与业务部门“有的聊”提质—应用建设大模型辅助分析数据资源目录数据量数据质量数据类型数据加工信息业务数据需求数据量要求数据质量要求数据类型要求数据加工要求利用大模型将能基于业务侧数据需求、数据服务体系对应用场景的建设成果进行初步分析和定性预估，使应用场景建设更加合理提质—数据质量问题定位数据质量稽核质量报告产出质量报告理解自助应答数据质量报告对于推动数据治理工作高效推进有着至关重要的作用，因此如何能够让决策者理解数据质量问题称为关键，建设全面的数据质量报告，再借助大模型的理解能力能够快速给决策定位当前的数据质量问题降本增效—数据质量规则设计数据质量稽核规则字段值结构格式校验字段值业务合理性校验数据更新周期性校验数据完整性校验跨表/字段一致性校验字段值准确校验主键是否重复校验空值校验更新及时性校验数据迁移一致性字典值域校验准确性唯一性一致性完标整性题及时性合理性规范性主键重复行校验数据重复行校验逻辑一致性校验表结构校验业务逻辑值域校验身份证号校验示例：数据质量规则设计完整性检测设施编码SSBM字符型64中文名字段名数据类型长度值域及说明约束条件字段业务分级标识码BSM字符型32自动生成，唯一MA行政区划代码XZQHDM字符型16行政区划代码表MA点位名称DWMC字符型64MB设施名称SSMC字符型64OB监测类型JCLX字符型641：管网

2：厂站

3：居民用户

4：非居民用户MA厂站：关联厂站属性结构表的原始库主键标志管网：1、管线关联管线属性结构表的原始库主键标志；2、管点关联管点属性结构表的原始库主键标志居民用户：传默认值：99非居民用户：关联燃气用户属性结构表表的原始库主键标志MA空间信息KJXXGEOMETRY-MA原始库主键标志YSKZJBZ字符型64MA数据同步状态SJTBZT字符型16MA同步时间TBSJ时间日期型-MA一致性检测合理性检测关联性检测唯一性检测及时性检测完整性和一致性检测降本增效—提升业务理解01业务材料收集根据业务需求收集业务相关的材料，例如：访谈记录、国标文件、系统建设材料等02业务知识库建设将材料进行治理、分类、筛选，建设业务知识库03场景训练将业务知识库作为语料进行场景训练04团队赋能大模型作为业务专家为数据团队进行业务赋能使数据与业务能聊到一起降本增效—标准体系建设数据标准体系建设基于业务建设需求，快速生成与业务需求相匹配的初步数据标准，主要含数据结构、数据对接方案等业务理解与权威的相关数据标准进行横向对比（例如：国标、行标等），找不足，提升标准的结构性、合理性、准确性权威内容提炼对人员修改的意见进行再次复核，对数据标准体系的标准型进行的修正，例如：错别字、语法错误等内容修正降本增效—元数据管理元数据变更评估对于各种元数据变更的生成快速