深入浅出数据治理培训教材_第1页
深入浅出数据治理培训教材_第2页
深入浅出数据治理培训教材_第3页
深入浅出数据治理培训教材_第4页
深入浅出数据治理培训教材_第5页
已阅读5页,还剩208页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1、深入浅出数据治理培训教材深入浅出数据治理目录一数据管理的现状3二数据治理的概述4(一) 数据治理概念4(-) 数据治理目标5三数据治理体系5四数据治理核心领域6(一)数据模型6(-)数据生命周期6(三)数据标准8(四)主数据9(五)数据质量10(六)数据服务12(七)数据安全12五数据治理保障机制13(一)制度章程13(1)规章制度13(2) 管控办法13(3) 考核机制13(-)数据治理组织15(1) 组织架构15(2) 组织层次16(3) 组织职贵17(三) 流程管理19(四) IT技术应用19(1) 支撑平台19(2) 技术规范22附件A数据管理规范23附件B数据质量评估办法38附件C数

2、据质量管理流程42关于数据治理的理解数据管理的现状根据行业信息化发展的现状,结合当今行业数据治理的要求Z大型集团或政 务管理部门现阶E賤腮管理方面存在以下的不足:(1)数据多头管理,缺少专门对麴居管理进行监督和控制的组织。信息系 统的建设管理职能分散在各部门I致彳鞫据管理的职责分散Z权责不明确。组 织机构各部门关注朝居的角度不一样,缺少一÷组织从全局的视角对数据进行管 理,导致无瀝立统一的数据管理规程、标准等,相应的数据管理监督措施无法 得到落实。组织机构的数据考核体系也尚未建立,无法保影媚管理标准和规程 的®亍。(2 )多系统分艇设,没有规龄一的省级娄鳩标准和娄媚宓 纟压

3、只机 构为应对迅速变化的市场和社会需求,逐步建立了各自的信息系统Z各部门站在 各自的立场生产、使用和管理财居,吏彳駿媚分散在不同的部门和信息系统中, 昨妇的咖见划、可信的魏薜源和娄媚枷隹,寧嬉鳩不规范、不一致、 冗余、无法共享等问题出现,组织机构各部门又擞据的理解难以应用T的语言 菊苗述Z(3 )缺少统一的主魏居I组织机构核D系统间的人员等主要信息并不是存 储在f 竝的系统中,或者不是通过统一的业务管理流程在系统间纟苗户。缺乏 对集团公司或政务单位超据的管理,就无法保障主魏居在整个业务范围内僚寺 T、鸽口可控,寧11财居正确匪法得到僻章。(4 )缺乏统一的集团型数据质量管理流程体系。当前现状中

4、娄対居质量管理主要由各组织部门分头进行;跨局跨部门的魏居质量沟通机制不完善;缺乏清晰 的跨局跨部门的数据质量管控规范与标准Z麹®分析机性强Z存在业务需求不 清的现象Z影响数据质量;娄媚的自动采集尚未全面实现,处理过程存在人为干 预问题Z很多部门存曲据质量管理人员不足、知识与经验不够、监管方式不全 面等问题;缺乏完善的娄媚质量管控流程和系统站能力。(5)数据全生命周期管理不完整。目前,大型集团或政务单位”数据的产 生、使用、纟苗户、备份到过日蠟销毁的娄暗命周期新口溺强不韻, 不能确定!嫌和无救居的识条件,且非结构化皺居未纳入勒居生命周期的管理范畴;无信息化工具勿穀生命周期状态的查询Z未

5、有效利用元麹居管理。数据治理的概述2.1 数据治理概念娄鵬s 希鵬乍为纟彫只资产而展刑勺一刼的具体化工作尉做居的 锂命周期娄媚治理体系倉旨从组织架构、管理制度、操作规范、IT应用技术纟磁考 宓寺等多个纟龈豳只的娄嫡理 朝訓勾、麴居质量、娄娄晦 命周期豁方面进彳径面的礎建设咖挙卖嘶钊本系。2.2 数据治理目标 密性、完整性及可用性)”实I!对居资源在各组织机构部门的共享;推进信息资源 的整合、对接和共享Z从而提升集团公司或政务单位信息化水平,充分发挥信息 化作用。娄鵬倒里的目标謝是高娄:的质量(准确性和完整性)保证麹居的安全性(保数据治理体系娄鵬台理体系包含两个方面,帥居质量核心领域,二患媚质量

6、保障机 制。具体两者内容及相互关系可以参见下图:厂保障与规范支撑与落实制度章程组织规章制度组织架构管控办法组织层次考核机制组织职责保障机制流程IT技术应用流程目标技术规范流程任务实施办法流程分级支撑平台数据治理核心领域为了有效管理彳言息资源,必须构集团级数据治理体系。娄媚j台理体系包含数 据浴IO只、娄鳩构架節里、珈居節里、勒居质量娄鳩服务tm居 安全管理内容,这些内容既有机结合z又相互支撑。4.1数据模型数据模型是麹居构架中重要一分,包括概念麹居模型和逻辑麹居模型Z是 麹居淘里的关键、重点。理担的魏居模型应该具有非冗余、稳定、一致、易用等 特征。逻辑数据模型能涵盖整个集团的业务范围,以一种清

7、晰的表达方式记录跟 踪集团单位的重要勒居元素及其变动,并利用它们之间各种可能的限制条件和关 系来表达重要的业务规则。娄媚模型必须在设计过程中爲挙充一a勺业务定义。为 了满足将来不同的应用分析需要,逻辑娄财居模型的设计应该能够支持最小粒度的 诧娄媚的存储Z以支持各种可能的分析查询。同时保障逻辑娄财居模型能够最大 ju冗余,州呆摩苗勾具有足够的灵活性和扩展性4.2数据生命周期生成及传输、魏居存储、麹居处理及应用、皺居销毁四个方面。(1) 及筒俞数据应该能够按照麴居质量标准和发展需要产生Z应采取措施保证数据的准 确性和完整性Z业务系统上线前应该进行必要的安全测试,以保证上述措施的有 效性。对于手工流

8、程中产生的朝居在相关制度中明确要求,并通过事中复核、事 屁鎖等手段保IlEM准确性和盛性。娄鵬专输过程中虑腿性和諭生 的问题,对不同种类的娄媚分别采取不同的措施防止数据泄漏或魏居被篡改。(2 )朝居存储这个阶段除了关注保密性、完整性之外Z更要关谕居的可用性Z对于大部 分娄鳩应题分级存储的旅I不仅存储在本地磁± , Z该上Z甚至 远程复制到磁盘阵列中Z或者采用光盘库进行存储。对于存储备份的数据要定期 进行测试,确保其可访问其姻完整。娄财居的备份恢复策略应该由麹居的责任部 门或责任人负责制定,信息化管理部门可以给予相应的支持。同时还需要注意因 为部门需要或故障处理的需要Z可飽礎财居进行修

9、改,必须想财居管理办法中明 刪彫改的申请审批溺呈Z审慎佛后台娄鵬參改。(3 )朝和族信息化相关部门需要对魏居进行分析处理Z以挖掘出对于管理及业务开展有 价值的信息,为保证过程中娄媚的安全性Z 采用联机处理,系统只输出分 析处理的结果。但是实际中,因为相邃娠分析系统建设不到位,需要从勒居库 中提取勒居后再对朝居进行必要的分析处理,在这个过程中就需要关注轆提取 操作是否可能床擞据库造成破坏、提取出的魏居在交付给分析处理人员的过程中 其雄轄否会昭氐、娄略析卿的琳竟雄性壽。(4)朝居销毁这个阶E妊要涉换居的般性。应明确娄媚销毁咖呈Z采用必要的TM , 麹居的销毁应该有完整的记录。尤其是对于需要送出夕陪

10、瞻理的存储设备Z送修 之前应该对謝居进行可靠的销毁。4.3数据标准数据标准是集团单位建立的一套符合自身实际Z涵盖定义、操作、应用多层 圖居白断隹化体系。数据标准的建立是集团单位信息化、数字化建设的一项重要工作Z行业的各 魏姻5循f 统一的枷行纟彫只,雄构成f可極、可共享的信息 平台。数据治理对标准的需求可以划分为两类Z即基础性标准和应用性标准。前者 主要用于在不同系统间,形成信息的T理解和统一6勺坐标参照系统,是信息汇 集、交换以及应用的基础Z包括麹®分类与编码、皺居字典、数字地图标准;后 者是为平台功能发挥戶用步及的环环节,扌曰共一定白加砌范Z以保证信息的高 效倖和対奂Z包括元数据

11、标准、魏S対奂技术规范、娄媚传输协议、娄鳩质量(1)娄昭琢飜数据分类与编码标准是信息化建设中标准化的一项基础工作,该类标准规定 平台O、交换相关信息统T勺分类系统排列I厮以及编码规则,目的是在不 同系统用户之间建立交i媚的T攵参照,对提高魏居采集、处理和数据交换 效碩有重要作用。娄鬲琢编码枷隹的制定楠力平台标准化及施信 息化建设枷隹瞬进程。(2 )朝居字典针廖际需求,定堆媚集,曲环领域的朝居字典,规范娄财居昵和数 据敢 tb±,形成完备濮团单傩鳩集和娄娠字典。(3 )元娄媚枷隹元娄鳩标;為苗避对騒源的具体碍时所有Wl啲集合Z它包括了完謝苗 述一具体数据对象时所需要的勒居项集合。针对各

12、种信息资源分别制定适当的 元娄姻标准,可为信息的節里、发w共一种实际而简便的方法Z从而提 高朝居対魏率。(4)朝居対航隹为了保ilg共享和交换的顷利实现Z必须明确定义和规范娄媚交换的相关 标准。魏居交换的标准规范是集团单位综合信息平台的核心标准。其中应当包括 麹居交换内容、数据対奂格式、魏居传输方式、各类中心间娄媚接口的标准化等 方面。(5 )朝居題杭隹由于数据采集任务通常由其他二级平台完成,娄财居治理平台的标准方法主要 集中想财居的加工和管理上。应该重点开发的一领域嶽居质量控制方法。应 当J个方面法进行硏究:”坏娄姻或机穀媚"的佛U,訪法,城邮酗处理。4.4主数据主娠管理要做的就是

13、从各部门的多个业务系统中整合最核心的、最需要共 享的数据(播据),集中进行謝居的清洗和丰富Z并且以月膨的方武把一0勺、 完整的、准确的、具有权威性的主数据传送给集团单位范围内需要使用这些皺居 0Wm系新盼系统。i勺信息磁为:1)某个遊系统角如寸拦媚的改动;2)主数据管理系统将整合之后完整、准确的主数据传送给所有有关的应用系 统3)主麹龍理系统为决策支持和魏g仓库系统提供准确的娄鵬原。因此对于主麹g管理要考虑运用主朝居管理系统实现,旦鵬i理系统的建 设Z要从建设初期就考虑整体的平台框架和技术实现。4.5数据质量数据质量不高将影响数据仓库应用程度不高。低下的数据质量往往造成开发 出来的系统与用户的

14、予施大相径庭Z数据质量关系建设有关分析型信息系统成败Z同时城资源是集团单位的战略资源,合理有效的使用正确的麹居能指导集团单 位做出正确的决策Z提高省综合竞争力。不合理的使用不正确的娄媚(即差的数 据腿)可朝癖的埶Z正确出毫厘、谬以干里。娄鳩质量t包含關居的绝对质量过團量節里。绝对质量即朝居 的真实性、完备性、自治性是朝居本身应具有的属性。过程质量即使用质量、存 储质量和传输质量Z勒居的使用质量尉旨娄媚被正确的使用。再正确的娄鳩Z如 果被错误的使用,就不可能得出正确的结论。数据的存贮质量指娄媚被安全的存 贮在适当的介质上。所谓存贮在适当的介质上是指当需要数据的时候能及时方便 的取出。娄媚的传输质

15、量是指麹居在歸过程中的效率正确性。高琢勺餅5鳩勘截吓Jil页要求:确性Z 鋼奂、分析、存储、传输、瞬溺呈中TO®筍吴;二生Z娄媚库瞬酸求的所有记录、字瞬尿 ;M致性,体现腔徨鳩库的型和纟苗户方面Z确题居在瞬的÷过程中島徴的;四是时效性,衡量指1示是柑旨定的朝居与真实的业务情况同步的时间容忍度 内Z即指定的更新频度内Z及时被刷新的皺居的百分比;5可靠性Z扌居的娄鵬舷页瞬可也扌 M娄鵬贡量管理的规划和实施包括以下内容:愚鳩曜管控体系的曲Z包括勒居质量的刚古体系Z倉卿按鳩质 量状况;二是在部门各个应用系统中的落实Z包括每个应用系统中的娄鵬贡量检查等; M在T始W居題统的时候Z借助

16、娄鵬倒里平台上” ii 换居mt勺规则来集中他也步鳩腿節繇统I发现问题躺卖6;四是数据质量管理与业务稽核的结合Z通过业务规则的稽核来发现魏S质量 深层次的问题,哪居质量与业务一线结合起来,使业务人员对謝居质量问题有 更加清册和明确的认识。完善的朝居质量S呆障各翩据jST懾嗨到融落实,i!居 准确、超的目标,并能够提供有效的增值的重要基础。4.6数据服务数据整理最终目的就是要月膨于各部门单位、人员等Z能更准确更快更方便 的月膨墨阖靖!理的目标。数据服务管理是指针对内咅职累多年的数据,硏究如何能够充分利用这 据,分析行业业务流程优化业务流程。麹居使用的方式通常包括对朝居的深度加 工和分析Z包括通过

17、各种报表、工M来分析运营层面的问题,还包括通过朝居挖 掘等工具对数据进行深度加工,从而更好的管理者月第,通过建立统一的麹居服 务平台来满足针对卿门、跨系统的娄鳩应用。通过统一的娄鳩服务平台輸一 娄鵬原,变多源为单源,加快魏居流转速度,提升咖膨的效率。4.7数据安全由于集团单位的重要且敏感信息大部分集中在应用系统中Z数据安全更是至 关重要。如何保障朝居不被泄露非法访问Z是非常关键的问题。麹居安全管理 主要解轴就愚鳩在賠、解和対鮒程中的雄问题。雄t 要体现在以下六个方面:性Z包括M娠的腿访问禾服限;二是数据隐私问题,系统中采集的证件号码、银行账号等信息在下游分析系 统内部!理龛充中Z是否要进行加密

18、Z阪険数据被法访问;M访问权限统一管理,包括单点登录问题及用户名、娄媚和应用的访问授 权纟Al;四是数据安全审计,为娄鵬參改、使用等环节设置审计方法,事后进行审计和责S;五是制度及流程建立Z逐步建立数据安全性的管理办法、系统开埶范、数 据隐私管理办法及相应的应用系统规范、在管理决策分析类系统中的审计管理 办捧;六是应用系统权限的访问控制Z建立集团级权限管理系统Z増加数字水印等 技术Zffl系统中的解数据治理保障机制5.1制度章程5.1.1规章制度数据治理章程类似于企业的公司条例。该童程阐明勒居治理的主要目标、相 关工作人员、职责、决策权利和度量标准。具体可参见附件娄WiW见范5. 1. 2管控

19、办法管控办jMTSW与工具矗吉合Z 躺蝴操蚀办法。具体可参见附件娄鳩陶羽古办法5. 1. 3考核机制考核是是保障制度落实的根本Z建立明确的考核制度Z实际操作中可根据集 团单位情况Z建立相应的针關居治理方面的考核办法,并与个人绩效相关联。 可参考1理学中相关考核、绩效管理相关部分。对于遨擴台理的考核Z可见下图进行理解::执行是管齡系落地的关键以绩效的手段促幽据质量I管理,将数据生产者、使用者、管I理者及拥有者关联起来,形成一«:可徳W行的执饰系,保障:持续的高数据质量 O艇核心业务流、城流I! O 制定数据管掏關(数据淞)I:O以标准数据进行质量探査、处s、II 分析 O翊则对数据流进

20、行监控、预警I:O集成髙质量数据,形成螂g中 V 心实现S享、分发、顷 O以?手段雌、保管! 一 mi制険有施行一级餉 ZSa8«e sa发生数据质最 问题的偉考核对録数据负责人 考核标准:1、发现fJ赠质量问题扣分;2、依此绕,蝕桶扌豳tm完为止;月35扣分项姻质屋问题影响范围考核对象.姗S负责人考核标准:1、数据质杲问题影响30%以下(含30% ) 信息系统I扣5分;2、数据质:S问题影D03O%7O% (含70% ) 信息系统,扣15分;3、数据质杲问题影响70%以上信息系统, 扣25分;4、按月统计,以单次数据质量问题影响范 围最大的数据为准;月25扣分项严重融考核般:赠负责

21、人考核标准:以造成的经济损失为考核依据, 依企业情况自定义;人工考核年扣分项数据质昱问题娠质量问题 Sl 及时14考:数据负责人 考核标准:1、在规定时间内处理完成U数据质屋问 题,加1分;否则不加分;月35加分项一级歸理质棗探査考核对彖:嫌管理员考核标准:1、未在规定的周期内实施数据质量探育工 作,扣3分;2、按指定周期实施数据质量探査,不扣分;月35扣分项考核譽:赠管理员plWfifiS:分考核标准:1 jsl,' Xr 1、在发现数据质寻问题时,在规定时间段 友内,及时预警并通知相关人员处理,不扣分;否则,扣3分;5.2数据治理组织5. 2.1组织架构有效的组织机构是项目成功的有

22、力保证,为了达U项目预期目标,在项目开 始之前对于组织机构及其责任分工做出规划是非常必要的,娄鵬台理项目管理组 织建议宜采用如图所示的组织结构:数据治理组织架构领导小组/数据治理委员会数据治理工作组根据实际情况设立相应小组 如:A部门或子公司、B部门或子公司5. 2. 2组织层次数据治聲员会由集团公司的高层领导者组成。委员会定义謝居治理愿景和 目标;组织内跨业务部门和IT部门进行协调;设置魏居潍酣划的总体方向;在 发生策略分歧时进行协调。此委员会也将包含来自部门或子公司的领导代表Z以 及来自各单位鹽据为枫勾资产的信息科技部门的代表。这些高层管理人员是数 据治理H划的所有拥护者,确保在整个纟彫只

23、内获得坊寺。数据治理工作组是组织内委员会下面的下一÷级别。工作组执行麹局倒里计 划。工作组负责监做居管理员工作。娄财居治理工作组由数据淳委员会中各局 緒曲寺。每各业务部门有至少一位业务分析员,信息科技部门设置魏居质量分析员、 麴居1理员、集成开发人员。各工作人员负责本部门麹S的质量,履行职责Z解 决具体的问题。5. 2. 3组织职责根据数据管理工作的实际需要Z在业务管理部门、技术管理部门和业务应用 部门确定各工作人员的职责。割居;Ii员会的IR范围:1)从战略角度来閒口 Z喚騒抒球统进行灣里Z确駁鵬倒 范围;明确麹居源的出处、使用和管理的流程及职责;2 )明确娄媚治理的组织、功能、角

24、色和职责;3 )负责各工作纟誠员的埠川工作;4 )负责审查各工作小组的目标、原则Z批准城管理的相关制度、标准及流 程;5 )负责确倉鵬倒里的TM、技枷平台;6 )负篩!mW酝 方法。割居治理工作"他r其主要工作职责是:负韓鵬倒里的牵头Z OR指爭t办调蒔位的娄鵬ST作;综合数据治理管控办法、数据淨里考核机制等有关规童制度的牵头制定、修 改等;负责城的分析艇并出题居指标报告;负烹媚的则工作;建立如冲突的妲輛呈和娄鳩变更控制流程。负责对Sw勺检则、发布、考工作。工作酗员:41析员.劉居析员割居鞍开趣这些不同的角色在勒居治理过程中承担着彼此不同Z而又相辅相成的职责。 其中集成开发人员啟居治

25、理流程中需要肩负起数据访问、验Il鐵据结构、验证 m 交付朝居以及麹居库/知识库的构建等角色,因此他们的工作包括:访问陶寸目遞媚给遊用户提高廿力和暉最大化减少异常/出错的影响开发和术数据质量分析员在麴居治理流程中负责数据的剖析、清洗匹配合并等。工作 包括:为开发人员定义数据规格及标准为机构有效的追帥居质量问题居确的朝居)W!不间水平及问题析隔植鵬謔弼呈中$站鵬勺转廨测,工作包括:与需求开加乍Z正确扌斤遊需求与开和加乍Z为遊用户礙媚柱价值的时间娄媚管理员需要定义引证麹居Z并管理元勒居,工作包括: 保IS:的題、正确、超、7攵、审计及雄性定义引证/参考 朝居为组只机构魏居实体给出正确业务定义为组织

26、机构解决混淆W有争论的麹居定义5.3流程管理】弼呈管理包括i弼呈目标弼呈任务、流程分级,根据数据淳的内容,建立 相应流程Z且遵循本单位数据浄的规则制度。实际操作中可结合所使用的娄财居 治理工具,与数据治理工具供应商进行协商Z建立符合集团公司的溺呈管理。5.4 IT技术应用5. 4.1支撑平台现市场上关于遨擴漣平台存在不同的成熟产品,旦在功能实现上大致相同, 具体可参加下图了解。数据治理平台构成与定位剜服务数据平台信贷业务I J'信用冈险管埋系统系统數据集市官理会计管理平A元数, 进行数撫彫响、 rf!塚分析.管埋疔内 數据标准提供平台 沟Ifi渠道对数据平台业务的支持一元数据数括沥系统

27、数据捕取数据平台査询数据平台相关元数 据,为开发対用堤供疾考"ffi*兀数据子系统数撫变更影网分析数描坷题血缢分析数拥变更影响评估巾请元数拥管理员对数据平台业务的支持一数据质量业务部门 了解木机构待定系 统数抿辰&長出业务数据质号 检核常求廐用开发者数据质虽检核针对数崙质担口题 提出.完善建议定义检核需求与规則分析数IU平台数据质绘发现、发布数抿捡核间题数州质虽管 理员对数据平台业务的支持数据服务数按平台服务申诒应用开发者:提供数据平台腋务业务部门- -*-数据平台服务中詩与数携半台有賀沟通数掘服务数据療务单管 理员数据治理相关系统关系AD (目录)系统登录认迹统一用户 管理

28、系统数拯治埋平台数据服务子 系统 I I I&卜执行检核IfIW:单点登录与數抚质宣菅理叭角色管理于系统W>'提供检核系统一认证:与用户管:IIII统元数州理模块IIII I III!E+提供傑洁 兀豐子构兀I I.系统IIICT提供标准相数据标冷关元数据于系统用户勺机构 佶息刖步数琳平台5. 4. 2技术规范技术规范是保P黝据治理平台可持续管理的基础Z随着娄媚量的增长、技术水平的发展,为更好、可持续的实现娄资产的管理、应用,需建立明确的技术规范。附件A数据管理规范为逐步提高麹®资源¾用效果,推动信息化建设管理向标准化、信息化数 字化方向发展Z娄鵬i理

29、应遵循以下原则:(1) 纟小见范。娄媚枷隹要严帥皓JiW充一枷隹。(2) 分级誣 实行分层级的麴居管瓚軾,明确职责分工Z层层落实责任。(3) 过w居从采集、扌讎 审Wim纟苗户s程白仙规 范,保疋媚质量Z提高应用效果。(4 )保障雄。wgi方问的則分懸正、权限R瞒分等度Z 规洒桑作,W毒预防、入侵检则和娄鵬翹工作。(5 )皺居共享。整合应用系统,瞬I入口唯一Z实现麹s次采集Z集中存 储,共享使用。数据管理的规范工作包括:数据标准、数据采集、娄财居审核、娄财居维护、数 扌盼斤、娄鳩族、娄媚发布、娄鵬专输、朝居存储(亀分、恢复管理、娄鳩空、里考瞬第一条安徽省交通运输行业数据必须按国家交通部制定的数

30、据标准和代码 规范执行。国家交通部标准中未包括的内容执行安徽省交通运输厅的纟H范。第二条鋤居采虹作中,各MZFW局制定白断M删采集 w正、娄鳩里考核Z第三条娄媚扌修改心WIWIm件aam凡解 省局统F件的Z市局对有换居制齊口修改,矽页W省纟1见范。 使用非省局统F件的,市局业务管理部门应根据工作需要和所管软件的需求变 化,及时提出设定(修改)娄鳩指标的具体内容、质量标准和时间要求,并明确 麹®录入部门、录入岗位和录入时限,报分管领导批准后提交安徽省交通运输联 网运行管理中心。安徽省交通运输联网运行管理中心应根据业务管理部门的需求Z 及时制定(修改)朝居采集的技术规范Z包括数据采集格式

31、、权限设定和方法步 骤等Z并按时向业务管理部门通报所采集朝居的指标内容变化情况Z以便业务部 门根据采集u的指标提出魏居加工需求。第四条数据指标的确定应以有效实用和优化服务为目标Z不断提高勒居集中 度和信息共享度Z科学归并各项业务的同类、同属由詬,避免业务部门重复上 扌做居。采集 采集重点是原始朝居的采集Z原始麹居主要包括业务部门通过纸质资料报送的娄鳩,通过电子传输报送的娄媚(含电磁介质报送的麹居和网络传 输报的遨鵬,下同);相关部门通过纸质、电子传输提供的勒居;管理业务处理 结果(甌调查、慈、审扌烤)产帥嫗第二条娄财居采駐要系统进彳春入(导入),现用族系纟杯能满 倉财居采勺,S关系貓勺补录臧进

32、彳(导入1第三条娄采集方式分为手工采集、娄媚电文导入和光学字符识SU (OCR 图形扫描希也方式。为保P載外居采集的质量,提高数据采集的效率Z应充分应用信息化技术Z最 大腿地咸少手T入。第四条为提高麹居录入质量Z各市交通部门有关单彳頤认真执行料d居的 核对制度Z严格以原始资料为依据,确保录入数据的一致性和准确性。娄媚采集 录入前Z操作人各准入的原瞬料或有巻证单书进行完整性、逻辑 性、真实性审核Z发现漏填、错靖口逻辑关系不符的Z应于做出修正或卜正;第坯对S电刊专输歸艮i鳩的,朝居心收软供目应矚的 養性、逻辑性舷第六条各级各单觥嫡口电丑鳩的协捌度Z明潮只葩工和 工储序Z落实岗位责任Z发现问题及时处

33、理。第七条对于交通部、省厅没有规定的娄媚采集标准规范,各局市交通部门及 信息化责任部门应根据不同的麹居采集岗位和软件覆盖面,细化工彳乍职责Z量化 作业枷隹Z结合业务操慟呈Z曲妇的娄财居采集录Ot里制度。 娄财居采集规范应包括娄媚来源、采集时间、操作岗位、操作步骤、操作内容和采 集内容的逻辑校验等要素。第八条各级数据采集人员应强彳檢媚质量意识,幅掌握正确的采集和审 核方法,按照部门职责分工Z严格按照相关操作规范采集各超据。第九条 田可人不准擅自委托他人以本人用户名录入勒居。确因工作需要委 托他人以自己g义录入的Z必须报经管领导批准,并及时更改口令。第十条安徽省交通运输联网运行管理中心应简化、归并

34、各级地单位报送的 扌讎Z统一采集Z集中处理Z自动曲Z分别解Z提高工彳磁斬口质量Z )½ 各级单融工作量。(三) 割居m核第一条数据审核是确彳夥攵据质量的重要环节。审核的重点是数据的及时 性、完整性、慈性、:緘性和规范性。(1)及时性尉旨麹S要在规定的时间内采集,确保应用系统魏居与实际交 通信息业务同步;(2 )完整性S旨勒居采集应按照有关规定及相应表、证、单、书采集的要 求进行,科或漏项,梯色麴居白無几夕噪伽循环;(3 )真实碉旨娄财居采集要如换蛟通行业節麻际I以合法、真实的 料为闵居,(4 )准确国旨勒居采鞍准确反8蛟通行业亀軽际,与纸质资米做居 T,麴居之间逻辑相符Z不得出现运算

35、错误或逻辑错误;(5)规范j儀鳩采照纟支术规范进行。第二条各市交通部门及相关岗位人员按照自身工作职责范围,负责相邃财居 的日常审核。第三条为加弓動居腿1 Z省raw居审核制度,期环 定期对已采集懸进行审核。对审核中发现的魏居质量问题应及时反馈至具体的 原碱居采集岗,限期补录修正。第四条各级可采取人工样、麹居软件佥测方武进行遨据审核。对检索出 不符合标准的娄鳩Z反馈至原朝居采集岗进行补录修正。在轆应用环节发现的 娄财居采集差错Z应通过相关业务管理部门的勒居管理员进行审核确认,然后反馈 至原数据采集岗进行变更修正。第五条 輙中发现的差错应及时通知相关部门。第六条数据审核岗人员与遨鵬采集岗人员对城问

36、题有异议的Z由上级业务 主管部门负责对争议事项做出裁定。第七条 对各级数据审核发现的问题数据基层分局已无权限修正的I严格按 敷居纟苗户嗨勺歸开展修IET作 佃可人神亶自修改。(四)麴居繇第Y 数融护包括对麹S中错误咖的修正、不理瞬补充、垃圾数 扌鮒翅鳩的第二条各市交通业务管理部门应结合各应用系统制定详细的数据维护工作 制度Z明确数据维护的权限、职责,严格按照工作制度进彳克媚维护。已经进入 应用系统的魏居,不離自修改、删除。第三条对错误i据的修正和不理媚的补充Z省厅统一按以佛序妲里:(1)对尚未录入应用系统或已录入尚保留修改权限跚据Z需修改的Z可由 前台原麹居采集岗根据审核意见纠正后重新录入(或

37、冒妾纠正);(2 )对Ea入应用系统的朝居,经审核发现错误Z前台原城采集岗已无权 限修改的I应態具体遊工作:弼呈和要求劳亍层级审批修正。第四条 对已录入应用系统需层级审批修正的娄媚,市级信息部门有权限艇 的Z应由魏居修正申请单位及时提出娄媚修正申请Z报数据所属系统的责任业务 管理科室审核审批。市信息管理部门同意修正或在接!J同意修正的审批后办理。对经确认不能予以修正的I有权修正单位应及时向申请单位或相关人员说明 原因。第五条对需由省魏居中心劝'理的麹居修正事项I应由申请单位及时提出娄财居 修正申请Z分别报经区市信息管理部门及责任业务管理科室审批。省级娄媚中心 田妾U同意修正的申批后办理

38、。对经确认不能予以修正的,有关单位应及时向魏居修正申请单位及有关人员 说明原因。第六条对不按规定程上报审批的娄媚修正申请,各级麴居管理的技术管理 部门不予以修改。第七条 对经查实,属有关单位弄虚作假、人为调整指标等主观因素造成其 无法自行恢复的数据错误Z各険居管理的技术管理部门有权不予修正Z并向省 输单礙告。第八条各级城管理的技术管理部门应按照系统初始紺户设置上级部门分 配的权限实施娄鳩修正业务。执行过程中如遇权限调整,各级财居管理的技术管 理部门应在权限变动后十五日内向辖区内本级和下一级业务部门公告通知。第九条娄媚纟倒户前应銅盹亀分工作。娄媚纟倒户工作鲫溜案Z 碍页 娄财居维护的内容、时间、

39、维护原因、责任人等进行详细记录,涉及的书面材料必第十条应用系统因魏居平台转换、系统升级等原因需对历史錘转储、迁移 的,由信息技术部门会同业务管理部门确定历史数据的处理方法,呆证新旧麹居 的衔扌券係统的平Ba渡。第十仔 各级信息技术部门应加强7嫩居的监控,定期检测麴居的存储,分 析数据的构成Z提出麹居清理优化的方案Z经业务管理部门确认后Z定期进行垃 圾数据的爲1。垃圾麴居主要指I嫌的、重复的、没有使用价值的朝居,不包括 Ms保留的历翅鵬(五)繩分析第 Y 数据分析是采取科学合理的方法I利用现彳弋彳言息技术手段Z对计算机 应用系统生成的数据进行分析Z充分发掘娄媚中蕴涵的信息,形成有用指标麹g Wa

40、o第二条数据分心気安照选题一分析一应用一反馈一再选题的75式进行积 极硏究、探索科学实用的分析方法,为交通运输ZH乍月艮务。同时依据数据应用过 程中暴露出的问题Z改进麹居管理方法和手段,促蜩据管理质量不断提高。第三条数据分析分为固定分析W专项分析两种。固定分木斤扌旨示在F时期内 相对固定Z通过编制应用软件自动生成。专项分析的选题搦示根据交通运输管理 工作的新形势和新问题需要专门设计,临时从前台或后台抽取相关麹居进行分析妲里。第四条各级各单位应充分利用娄:资源,规范娄略柵薛,积畴换居获取、加工、计算、展现等过程的规律Z不断探索和创亲徴据分析方法,提高数扌盼斤(六) 麴居应B第Y 皺居族分为S鲫助

41、IwS解。娄嫡TW居工Z用数理统计、多维分析鋼4学方法吏搂进行抽取、归类、挖掘、比对并以报表、图形、文字割弑;展现数据处理结果。第二条各级各单位应充分利用数据资源I深伽居应用Z用魏®描述现状, 预测趋势Z规范执法Z加强管理,优化服务,提供决策支持。朝居应用的任务一 碗括:(1) 整合应用系统的数据,建立麴居关联关系,满足各级、各部门、各岗位 靈。(2) 分析行业管理现状,硏究存在问题Z提出改进措施,提高管理水平,规(3) 临埶法过程Z鯛丸法结果Z(4) 建立合理的指标体系,全面考濒监控交通各部门管理的工作质量和效窒一(5 )纟備腳、合酚布娄媚Z实现孕嫡勺全面共享Z简化交确俞行 业审扌

42、盼辩z优化交0膨。第三条省魏居力DT统一由各级数据管理中心承担I信息部门提(殲术支持。 业务管理部门有特殊需求时,报分管局长批准后及时向同级娄媚管理中心提出, 各级蠅管理中心应及晦共已加IW列表和娄媚使用授权,以保证各级、各 部门业务管理需要。第四条娄媚加工分两个层次Z f层次是为满足日常业务需要Z利用娄媚加处理结果;另_工!具进行数据加工,供各部门日常管理使用Z可直接展示娄 层次是满足评估分析W辅助决策褻据应用系统的需要Z利用娄财居加工T具或专 用软件磁媚加工或进行系统间趨鳩衔接。第五条全省各级麹S中心负责魏®加工软件的日常工作。第六条娄鵬蛹单位和照授权覷娄鳩,负责位、 本人口令,

43、不得越权使用数据;不得采取任何方法破坏数据;对所使用的涉密数 据负有腿责任。(七) 鱷发布第Y 麹S发布是数据管理的重要内容。各级各单位必须建立勒居发布制度Z 明确娄鳩发布耳RS,依法发布朝居:(1)可向交通运输从业人员本人提供的信息主要包括:除稽囱第案件以及 其他涉密信息之殖勺交通运输从业人员本人的信息;(2 )可向社会公众发布的信息主要包括:非正常户、违法违童信息停业、 企业质量信誉霰 政务公开信息等信息驾驶证、从业资格证、经营许可证信息 及真伪信息等;(3 )可在交通管理部门之间传递、共享的信息主要包括:企业登记信息、核 定履信息、申报信息、审批信息、行政许可信息、謝刑勾信息、适去违童信

44、 息、稽查信息、救济信息等。(4 )其曲诫个人要部门扌戟目为言息的Z跆去衛勺I 部门醴搦共。第二条各级各单位对外公布麹S必须报领导或分管领导批准后对外公布Z否 则不衢亶自对夕布和分布娄鳩(八) 麴剧劇第Y 各级各单位应针对各刪据传输工作,设置专门岗位朋确职责分工Z 制定相应考核制度。第二条娄媚传$俞工作严格遵照相应的操伽程和时间要求”不得延误。由于 特殊原因Z数据发送方不能按时完處媚传输任务时Z应及时通知魏居接收方, 双方应积极施,恢SiE常传输。娄鵬专输就Z双方宓时进彳罰居对账。第三条娄媚传输应当使用交通运输机f勾内部计算机网络完成,未经批准不得 借助其它公共计算机网络平台进行据传输。使用可

45、移动载体进行娄媚传输的, 倚俞訴后z必滅载体£全w居。第四条全省各级交通部门内部信息的传递,如任务下达、信息交奂、调查统 计、报鏗送、成果报告、情况通报等Z应采取电子数据传输方式。能够通过应用系统查询得到的信息或生成的报表,上级交通部门不得要求下 级机为魁。第五条各级信息技术部门要定期检测网络运行状况Z及时发现解决网络传输 中的问题,确彳舷居传输网络畅通。(九)M5储、s第Y各级信息技术部门应加强对各型据存储和备份的管理Z以保障应用 系统的正常运行,甬養的历翅媲第二条各级信息技术部门应定期对存储和备份的娄媚进行翹里优化,城高 系铤mB效率。第三条各类麹居由信息技术部门纟廿集中存储和备

46、份。第四条各级信息技术部门应根据不同类型錘的更新频率、麴居量、重要程 度、保存期限,制定相应备份、恢复策略和操作规范。第五条已做备份的娄媚任何部门不得擅自更改。第六条娄:备份文件必须存储在«几磁盘的其它介质中Z建立登记制度Z 由专人保管Z备份介质必须保存在符合条件的环境中Z对应用系统中存储时I、可长、 使用频度低的历史勒居,可按有关规定予以结转、存储,长期妥善保管,并随时 可供调重藝财居应异½m第七条娄:备份文件应定期进行恢复测试Z以确保所备份的皺居能够及时、苗角、養地恢复。(十)轴安全管理第Y 省各级信息管理中心应建立健全娄媚安全管理制颤办法。娄媚安全 管理的内容包括:娄

47、财居访问的身份验证、权限管理及麴居的加密、保密、日志管 理、网络安全等。第二条为统F宛操作权限,省交通行业各级各单位操作人员的录入权限、 访问权限、维护权限应先由各业务管理部门按照部门、岗位的职责分工,提出权 限设定规则,报数据管理领导小组批准后由信息技术部门予以维护,田可人不得 擅自设立、变更和注销。第三条各类应用系统的使用必须实行用户身份验证。应用系统应按规定设置 相应的用户名、密码Z并按不同权限级别,对用户口令加密保护。操作人员应注 意自己用户名和口令的保密Z并定期或不定期修改口令。第四条数据安全实行专人负责制。信息技术部门要指定专人负责系纟藏据及 磁介质资料的安全管理工作。对麹居库的管

48、理实行麴居库管理员制度,制定明 确管理员用户和数据查询用户的操作权限及规程,关键数据库管理岗位应设两人 或两人吐。第坯跡步議媚的传输、存储Z鲫犠照相fi行鳩处理。第六条对孕®ZJIWl彳予惑制度,林t°对步W1E员隐私而 未征得本人同意或按有关保密规不能公开的数据Z不得对外公开,也不得用于 业务以夕曲其它目的。第七条 關歸勺各躺作删亍日; Z严格W作过程Z对发珈勺数 扌®问题,要及时艇和上报。第八条各级各单位要加强网络安全管理Z采取严格措施做好计算机病毒的预 防、检测、清除工作,防止各类针对网络的攻击,保iim据传输和存储安全。管理员用户应掌握g运用娄鳩库访问跟踪

49、布融术,加强对娄媚库的嗨与监控。 第九条对需要长期保存的麹居磁带、磁盘Z应在质量保证期内(TS为一年)进彳话专储,以防谨第十条系缝倒户和娄财居任单馳当趣以下措施Z保证信息系娄媚的雄:(1)明确岗位职责,严格操作规范,完善内部控制;(2 )加强应用系统的运行维护,定期进行麹S备份;(3 )实时临埶居库的访问熾兄Z嗣希口更亲彥鳩库的口令等第Y覩全省各喚st中心以3行Wb ,sw居质示体系和Sea错親,屈一定的手爵口方法,对一定时 期的数据质量进行检查、认证、鉴定与评价A系列節里活动。第二条娄媚质量监控应按照分途采集、集中比对、管住増量、强化责任的原 则Z圖居采集和处理的真实性、准确性、完整性、合法

50、性、逻辑性、及时 行临空。第三条全省交通系统建立省、市、县三泌鳩质量甜空联动机制,实行省局 娄鳩管理中心、市级麹龍理中A基层分局麴居管理员三级监控联动。(1)省局娄鵬!理中心负责全省范围内的魏S质量甜空”定期或不定期发布 全则结果。(2 )市级魏居管理中心'负责全市、区范围内的娄鳩质量监控,定期或不定期 发布全市、区空检则结果,指导基层分局落題關居空WI 纟吉果。(3 )基层分局数据管理员负责督导落实辖区范围内的数据质量雌检测结 果。第四条各级城管理中心应建立相应的数据质量监控机制Z采用人机结合等 旗,以一w寸本地空輙,并及时发布昨吉果。第五条各级麹居管理中心应于年度开始10日内制定年

51、融据质量监控检测 MJ Z纟盼管局长批儒有戕开展全钟居质關空检则工作,期肚關居 節里中心备案。第六条各级数据管理中心负责对数据质量监控发现的问题娄对居限期督导 基层分局完成修正Z TS最长要求5日内完成,并将修正结果上报发现问题的数 扌g中心审核。第七条關居議现的问巒媚严糅安照本办淳财居纟倒户规定 开展修IET作 佃可人桶亶自修改。(十二)割居管理魏第Y娄媚管理是交通行业信息化建设的重要内容Z娄对居质量直接关系到交 通行业信息化的应用效果。各级各单位应根据本办法所涉及的内容制定具体的数 扌gl考帧法,曲切实里考脱惩机制。第二条娄媚管理考核应遵循客观公正、公开透明的原则。各级可采取日常考 际定期

52、考椽目结合、人工抽爵全面检则相结合的方法Z强伽居管 理考核。省厅将通!墩居检测软件等定期或不定期考核通报各市区(开发区)交 通局娄媚采集质量情况,并对各县市区(开发区)交通局数据管理工作实施百分 制考核,主裁傑页目包括:(1)组织枫勾是否健全,岗位职责是否明确;(2)s及时Z m轄否養;(3)麹g内容是否准确Z抽取展示是否按时;(4)审核碧昔歸參正Z娄懈倒户是否及时;(5)t几制翳曲Z雄措轄否到位。第三条鳩1中心梅上级要求Z针对各族系纟miE«I里的 实际 制定全市魏居管理考核办法并于年度结束20日内完成对各县市区(开发区) 熒媚15里考虹作。第四条娄鳩管理考核办法应突出麹居录入、审

53、核、维护、备份、安全等重点 环节,进行扌化。般枷隹,对必录项的考核詬,在采集录入环节Z 时率、:倒角率、趣率彩砖I95%IU± ;纟甜輙、修IE ,其三率的考 核辭示应达99%以匕娄媚管理考核结果纳入全市目标管理考核内容。第五条 交通部门和部门人员发生下述行为之一的 上级机关可根据其危害程 度、过错大小、情节轻等Z俶居执法责任制和目标 1责任制追究相应责任:(1) 不及时,鞍下T节工作延融;(2 ) 不规范、碧昔率鳩高的;(3 )料真履彳谴媚希只责,i大暑鳩碧昔不能及幽正的;(4 )未及时进彳谴媚纟倒户Z iM环节娄鳩严举真的; isIWeKSlIt i(OI)-sis Si ZSd

54、B ,Iffis - -SSiKs HSH (8)-isiiiL MLtIIiml 2ssisi- )-SRn当身 ISH ( 9 )- lisi (S)附件B数据质量评估办法T®将AW居质im耐酝 麹居质fit钿莫式、娄姻质HW 个7介绍娄鳩mtw方法。娄媚營羽古鹹湎示数据质量问题频率指标定义:数据质量问题频率=数据质量问题发生次数/存储的总数据量指标单位:次/GB根感鳩垣钿希密仓库中的主数据及其历史行为划分为三个等级:数据质量等级描述统计口径一级数据质量差,需要重点监控数据质量问题频率大于等于1次/GB二级数据质量一般数据质量问题频率大于等于0. 5次/GB,小于1次/GB三级数据质量好数据质量问题频率小于0. 5次/GB通过对居质量问删率的考评和等级划分Z就可以从数据仓库众多的数据 中解放出来Z

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论