DB34T4853.3-2024农村供水管理系统 第3部分：数据加工

ICS35.02034CCSL7034安 徽 省 地 方 标 准DB34/T4853.3—2024农村供水管理系统第3部分：数据加工Ruralwatersupplymanagementsystem—Part3：Dataprocessing20242024073020240830安徽省市场监督管理局发布.DB34/T4853.3DB34/T4853.3—2024前 言本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。本文件是DB34/T4853《农村供水管理系统》的第3部分。DB34/T4853已经发布了以下部分：——第1部分：数据元；——第2部分：数据采集；——第3部分：数据加工；——第4部分：数据存储；——第5部分：应用服务；——第6部分：运行维护。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由安徽省水利厅提出并归口。本文件起草单位：安徽省（水利部淮河水利委员会）水利科学研究院（安徽省水利工程质量检测中心站尔信息技术有限责任公司、安徽省大禹水利工程科技有限公司。IDB34/T4853.3DB34/T4853.3—2024DB34/T4853.3DB34/T4853.3—2024农村供水管理系统第3部分：数据加工范围本文件适用于农村供水管理系统的数据加工。规范性引用文件（包括所有的修改单适用于本文件。GB/T20271信息安全技术信息系统通用安全技术要求术语和定义下列术语和定义适用于本文件。前置数据库predatabase数据安全。前置数据库predatabase数据安全。4流程数据加工流程见图1。1数据分析数据分析数据抽取数据抽取结果检验通过数据清洗标准化转换错误数据修正可修正的结果检验通过数据清洗标准化转换错误数据修正可修正的

不可修正的异常数据处置异常数据处置数据入库数据入库图1数据加工流程数据分类待加工数据根据农村供水管理业务应用划分为基础数据、监测数据、业务数据、地理空间数据、外部共享数据五类。应根据数据分类明确对应的数据加工路径、加工规则、加工目标数据库及相应库表信息。采用系统或人工方式将不满足农村供水管理系统业务需求、不符合数据格式要求、元数据或相关资料描述不完整的、数据关系不明确的数据筛除。数据抽取应通过数据来源的前置库进行抽取。每次数据抽取工作应至少记录抽取标志位、抽取时间、抽取来源、抽取数量、目标库表、抽取完成情况、操作人员；抽取操作中断时可通过抽取标志位、抽取时间确定抽取的数据。https、TLSP首次抽取应采用全量抽取方式，非首次抽取宜采用增量抽取方式。结构化数据宜采用直接读库方式抽取，半结构化和非结构化数据宜通过数据服务方式抽取。数据清洗清洗原则准确性、完整性：应通过极大值、极小值、负值、空缺值、数据类型错误进行判定。2符合性：结合农村供水管理业务应用规则和逻辑对数据准确性进行判定。唯一性：通过主键或标志位检验等策略制定数据唯一性检验和去重规则。清洗操作方法根据业务需求将非结构化和半结构化数据（并非全部）转化为结构化数据。删除或修改不一致的数据。利用相关性分析方法消除冗余数据。删除噪声数据。删除业务数据中不符合应用规则或有逻辑错误的数据。处理空缺值。将过滤删除掉的数据存入问题数据库表。结果检验对清洗后数据对象的数据类型、数值、长度、格式以及数据内容的表述进行准确性检验。应对每个数据字段内容的完整性进行检验。应对清洗前后的数据量进行比对。系统应建立异常反馈机制，将发现的异常数据及时反馈给原数据提供单位。对检验过程中发现的错误数据进行修正。标准化转换转换规则转换规则农村供水管理系统业务数据标准化转换规则见附录A。检验标准化转换后应对数据内容的完整性、准确性和合理性进行检验。9数据入库标准化转换完成后数据应即时入目标数据库。10安全与记录安全数据加工安全应符合GB/T20271规定。记录数据加工记录见表1。3表1数据加工记录数据名称数据类型数据来源数据流路径变化记录序号数据变化前数据变化后变化原因处理人员处理时间处理方法登记人:登记时间:44附录A（资料性）表A.1给出了业务数据转换规则。表A.1业务数据转换规则业务数据转换规则时间日期数据将各类日期统一转换为八位的字符日期，如YYYYMMDD。将各类时间统一转换为六位的字符时间，如HHMMSS。将各类日期时间统一转换为十四位的字符日期时间，如YYYYMMDDHHMMSS。分类数据取值代码将人员的性别数据统一转换为国标性别信息代码。将人员的民族数据统一转换为标准信息代码。将人员的户籍地址数据统一转换为行政区划代码。将人员的婚姻登记情况统一转换为标准的婚姻状况代码。将居民身份证统一转换为18位的身份证号。将各单位的社会信用代码统一转换为18位统一社会信用代码。坐标系将不同来源的坐标数据统一采用WGS84坐标系。根据具体需求将不同坐标系的数据转换为目标坐标系，数据类型为浮点型。构筑物编码将不同来源的构筑物编码数据统一为国家建筑标准代码（GB50352）12633设备编码将