大数据导论(通识课版)-第11章-大数据治理(2020年春季学期)

第11章大数据治理目录11.1大数据治理概述11.2大数据治理要素11.3大数据治理模型11.4大数据治理保障机制11.1概述11.1概述11.1.1数据治理的必要性11.1.3数据治理与数据管理的关系11.1.2数据治理的基本概念11.1.4大数据治理的基本概念11.1.5大数据治理与数据治理的关系11.1.6大数据治理的重要意义和作用11.1.1数据治理的必要性数据的概念企业数据治理企业的信息系统建设烙印着企业规模和信息技术的发展轨迹,普遍存在各系统间数据标准和规范不同、信息相互不通等问题,致使系统的协同性等问题越来越显著数据治理可以帮助实现数据资产管理活动始终处于规范、有序、可控的状态，通过多重机制保障基于数据的相关决策是科学的、有效的、前瞻的，以实现资产价值最大化，提升组织的竞争力。为什么需要数据治理11.1.1数据治理的必要性数据的概念为什么需要数据治理01020304在数据更新、维护、备份、销毁等数据全生命周期管理方面，缺乏相关的机制缺少完备的数据管理职能体系，对于一些重点领域的管理（比如元数据、主数据、数据质量等），没有明确职责，不能保障数据标准和规范的有效执行以及数据质量的有效控制缺乏统一数据规范和数据模型，导致组织内对数据的描述和理解存在不一致的情况缺少统一规划各自为政，导致存在数据孤岛问题；在主要业务数据方面，无法实现有序集中整合，无法保证业务数据的完整性和正确性11.1.1数据治理的必要性数据的概念企业数据治理企业的信息系统建设烙印着企业规模和信息技术的发展轨迹,普遍存在各系统间数据标准和规范不同、信息相互不通等问题,致使系统的协同性等问题越来越显著数据治理可以帮助实现数据资产管理活动始终处于规范、有序、可控的状态，通过多重机制保障基于数据的相关决策是科学的、有效的、前瞻的，以实现资产价值最大化，提升组织的竞争力。为什么需要数据治理11.1.2数据治理的基本概念数据治理的基本概念“治理”（governance）来源于拉丁文和希腊语中“掌舵”一词，指政府控制、引导和操纵的行动或方式，经常在国家公共事务相关的情景下与“统治”（government）一词交叉使用。随着对“治理”概念的不断挖掘，目前比较主流的观点认为“治理”是一个采取联合行动的过程，它强调协调，而不是控制。数据治理是组织中涉及数据使用的一整套管理行为。关于数据治理的定义尚未形成一个统一的标准11.1.2数据治理的基本概念数据治理的基本概念DAMA

数据治理是指对数据资产管理行使权力和控制的活动集合（计划、监督和执行）DGIIBM数据治理是包含信息相关过程的决策权及责任制的体系,根据基于共识的模型执行,描述谁在何时何种情况下采取什么样的行动、使用什么样的方法

数据治理是针对数据管理的质量控制规范，它将严密性和纪律性植入企业的数据管理、利用、优化和保护过程中机构定义“数据治理”代表性观点11.1.2数据治理的基本概念1.明确数据治理的目标这里的“目标”是指，在管理数据资产的过程中，确保数据的相关决策始终是正确、及时、有效和有前瞻性的，确保数据管理活动始终处于规范、有序和可控的状态，确保数据资产得到正确有效的管理，并最终实现数据资产价值的最大化11.1.2数据治理的基本概念2.理解数据治理的职能从决策的角度，数据治理的职能是“决定如何做决定”，因此，数据治理必须回答决策过程中所遇到的问题，即为什么、什么时间、在哪些领域、由谁做决策，以及应该做哪些决策；从具体活动的角度，数据治理的职能是“评估、指导和监督”，即评估数据利益相关者的需求、条件和选择，以达成一致的数据获取和管理的目标，通过优先排序和决策机制来设定数据管理职能的发展方向，然后根据方向和目标来监督数据资产的绩效与是否合规。3.把握数据治理的核心数据治理关注的焦点问题是，通过何种机制才能确保所做决策的正确性。决策权分配和职责分工就是确保做出正确有效决策的核心机制，因而也就成为数据治理的核心11.1.2数据治理的基本概念4.抓住数据治理的本质对机构的数据管理和利用进行评估、指导和监督，通过提供不断创新的数据服务，为其创造价值，这是数据治理的本质11.1.3数据治理与数据管理的关系数据治理与数据管理的关系AB

数据治理

数据管理治理负责对管理活动进行评估、指导和监督，而管理根据治理所作的决策来具体计划、建设和运营。治理的重点在于，设计一种制度架构，以达到相关利益主体之间的权利、责任和利益的相互制衡，实现效率和公平的合理统一，因此，理性的治理主体通常追求治理效率而管理则更加关注经营权的分配，强调的是在治理架构下，通过计划组织、控制、指挥和协同等职能来实现目标，理性的管理主体追求经营效率。从上述论述可以看出，数据治理对数据管理负有领导职能即指导如何正确履行数据管理职能11.1.3数据治理与数据管理的关系数据治理01数据治理主要聚焦于宏观层面，它通过明确战略方针、组织架构、政策和过程，并制定相关规则和规范，来评估、指导和监督数据管理活动的执行数据管理02数据管理会更加微观和具体，它负责采相应的行动，即通过计划、建设、运营和监控相关方针、活动和项目，来实现数据治理所做的决策，并把执行结果反馈给数据治理11.1.3数据治理与数据管理的关系图

数据治理与数据管理的关系11.1.3数据治理与数据管理的关系数据治理01数据治理主要聚焦于宏观层面，它通过明确战略方针、组织架构、政策和过程，并制定相关规则和规范，来评估、指导和监督数据管理活动的执行数据管理02数据管理会更加微观和具体，它负责采相应的行动，即通过计划、建设、运营和监控相关方针、活动和项目，来实现数据治理所做的决策，并把执行结果反馈给数据治理11.1.4大数据治理的基本概念图

大数据治理3大层次11.1.4大数据治理的基本概念0102概念体系包括明确目标、权力层次、治理对象以及解决问题四个方面体系框架是实现大数据治理，进行大数据管理、利用、评估、指导和监督的一整套解决方案，其构成要素包括制定战略方针、建立组织架构和明确职责分工等宏观层11.1.4大数据治理的基本概念宏观层01020304第一大数据治理的标是关注大数据的价值实现和风险管控，大数据治理体系作用是鼓励期望行为的发生在可控的风险范围内，实现大数据价值的最大化第二大数据治理在权属实现过程中，是为实现大数据价值，大数据的资产和权属属性需要被发挥出来大数据具体表现为占有、使用、收益和处分4种权属第三大数据治理的对象需要大数据治理要素来保证，即决策机制、激励约束机制和监督机制。决策的相关事项包括：有哪些决策、谁有权力进行决策、如何保证做出“好”的决策、如何对“决策”进行监督和追责第四大数据治理在形成可持续治理体系下，明确权属关系，需要设计与决策相关的治理活动来解决一些问题，比如，是什么决策，为什么要做这种决策如何做好这种决策，如何对这种决策做有效监控11.1.4大数据治理的基本概念0102概念体系包括明确目标、权力层次、治理对象以及解决问题四个方面体系框架是实现大数据治理，进行大数据管理、利用、评估、指导和监督的一整套解决方案，其构成要素包括制定战略方针、建立组织架构和明确职责分工等宏观层11.1.4大数据治理的基本概念中观层030201第一个层面是管理机制大数据治理是一种组织行为完善的管理机制可以作为数据治理的行动依据和指导方针,为实现“用数据说话,用数据决策,用数据管理,用数据创新”提供一套规范管理的路径第二个层面是信息治理计划包括新兴的管理方法、技术、流程和实践，能够促成对大量的、有隐私的、有成本效益的结构化和非结构化数据的快速发现，并对其进行收集、运行、分析、存储和可保护性的处理第三个层面是数据全面质量管理的部署大数据治理全面管理包括数据的可获得性、可用性、完整性和安全性的全生命周期和全面质量管理，尤其关注使用数据时的安全性和数据完整性11.1.4大数据治理的基本概念微观层第三个层面是技术工具应用的大数据治理行为，涉及5个重要因素，包括：以关注人为基础的治理理念、以政府为主体的治理主体、以多种数据为客体的治理客体、以法律和计算机等软硬件为主的治理工具、以对大数据价值为主要发掘对象的治理目标第二个层面是大数据治理是使用传统的数据质量维度的方法来测评数据质量和数据的可用性，这些维度包括精确性、完整性一致性、实效性、单值性第一个层面是具体的经济有效的管理策略和过程包括组织结构上的实践、操作上的实践和相关的实践。组织结构上的实践主要是识别出数据拥有者及其角色和责任；操作上的实践主要是组织执行数据治理的手段；相关的实践主要指改善政策有效性和用户需求之间的联系11.1.5大数据治理与数据治理的关系“大数据治理”不是一个横空出世的概念，它是在传统的数据治理基础上提出的适应大数据时代的产物。由于大数据治理是基于数据治理衍生出的概念，因此，二者存在着千丝万缕的联系，我们可以基于数据治理的概念，从阐述两者之间的区别和联系的角度来理解大数据治理的概念11.1.5大数据治理与数据治理的关系与传统数据相比,大数据“4V”特征导致大数据治理范围更广、层次更高、需要资源投入更多，从而导致在目的、权利层次等方面与数据治理有一定程度区别，但是在治理对象、解决的实际问题等关于治理问题的核心维度上有一定的相似性11.1.5大数据治理与数据治理的关系概念维度大数据治理概念内涵数据治理概念内涵目的鼓励“实现价值”和“管控风险”期望行为的发生，大数据治理更强调效益实现和管控风险鼓励“实现价值”和“管控风险”期望行为的发生，数据治理更强调效率提升权利层次企业外部的大数据治理强调所有权分配；企业内部的大数据治理强调经营权分配数据治理强调企业内部经营权分配对象权责安排，即决策权归属和责任担当权责安排，即决策权归属和责任担当实际问题有哪些决策；由谁来作决策；如何作出决策；如何对决策进行监控有哪些决策；由谁来作决策；如何作出决策；如何对决策进行监控表

大数据治理与数据治理的概念内涵比较11.1.6大数据治理的重要意义和作用大数据时代，数据已经成为机构最为宝贵的资产。然而，目前机构的数据管理水平总体较为低下，普遍存在着“重采集轻管理、重规模轻质量、重利用轻安全”的现象，在服务创新、数据质量、安全合规、隐私保护等方面面临着越来越严峻的挑战11.1.6大数据治理的重要意义和作用如果机构内部缺少完善的数据治理计划、一致的数据治理规范、统一的数据治理过程以及跨部门的协同合作，那么数据管理的业务流程可能会变得重复和紊乱，从而导致安全风险的上升和数据质量的下降。有效的数据治理则可通过改进决策、缩减成本、降低风险和提高安全合规等方式，最终实现服务创新和价值创造。11.1.6大数据治理的重要意义和作用04030201促进服务创新和价值创造提升数据管理和决策水平提高数据质量,增强数据可信度,降低成本提高合规监管和安全控制,降低风险11.2大数据治理要素11.2大数据治理要素治理的重要内涵之一就是决策，大数据治理要素描述了大数据治理重点关注领域，即大数据治理应该在哪些领域作出决策11.2大数据治理要素图

大数据治理要素11.3大数据治理模型11.3大数据治理模型

数据治理模型030201数据治理模型可帮助组织厘清复杂或模糊的概念，指导组织开展高效数据治理工作此外，模型的设置还有利于数据利益相关者从中获取信息，进而做出正确的决策同时，模型的设置可以为实施数据治理举措制定指导方针，并且提供适当的评估机制，即当组织的治理期望与实际状态不符时，该评估机制可以提供差距分析对于数据治理相关者而言，由于不同组织存在组织背景、动机和期望等的差异，因此，数据治理的模型具有特殊性，即不同组织和领域适用不同的治理模型，而且，同一个治理模型也会在发展和使用过程中不断动态变化和调优11.3大数据治理模型

数据治理模型010203ISACA数据治理模型HESA数据治理模型数据治理螺旋模型11.3.1ISACA数据治理模型数据的概念ISACA数据治理模型

国际信息系统审计与控制协会(InformationSystemsAuditandControlAssociation，ISACA)是全球公认的信息科技管理、监控领导组织。ISACA从行政资助、文化、管理指标、培训与意识培养四个角度出发，构建了数据治理模型(简“ISACA模型”)11.3.1ISACA数据治理模型ISACA数据治理模型

二是充分体现了人的能动性与主导作用，及全程参与数据治理过程。此外，该模型采用顶层设计、基层实施的方法，秉持简单实用原则，只在需要的地方进行治理，不将额外的步骤纳入治理过程，确保模型的所有环节都为整个组织增值一是由于治理是灵活的，可根据组织需求适当扩大或缩小治理范围，所以该模型不是“一成不变”允许在可控的范围内进行调整和优化010211.3.2HESA数据治理模型数据的概念HESA数据治理模型图HESA数据治理模型高等教育统计局是英国收集、分析和传播高等教育定量信息的官方机构，提出“HESA模型”11.3.2HESA数据治理模型数据的概念HESA数据治理模型HESA强调数据治理模型与组织的设计和管理结构密切相关，同时指出每个组织应根据各自的侧重点，对通用模型进行适当修改，成为服务某个领域的特色模型因此在该模型中,HESA将数据治理团队与法律、安全、人力资源等置于并列位置，由数据治理委员会统一指导.HESA指出，治理模型在一定程度上体现了“为所有人公平获取数据”的概念，数据应被视为组织资产，而不是一个孤岛11.3.2HESA数据治理模型数据的概念HESA数据治理模型确保数据安全，确保组织面临的风险可控1防止和纠正数据错误，从而不断完善数据治理计划2

衡量数据质量并提供检测和评估数据质量的改进框架3记录数据及其在组织内的使用情况，作为数据相关问题和具体决策的参考4该模型数据治理的范围11.3.3数据治理螺旋模型数据的概念

数据治理螺旋模型MustimuhwInformationSolutions是加拿大一家计算机软件公司，该公司研究发现，随着时间的推移，人们的需求和能力会不断变化和发展，治理模型也将随之而扩张和改进，不断迭代循环、发展壮大。因此，该公司认为数据治理应以螺旋模型呈现，以反映模型的动态和不断演变的性质11.4大数据治理保障机制11.4大数据治理保障机制11.4.1大数据治理战略目标11.4.3制度章程11.4.2大数据治理组织11.4.4流程管理11.4.5技术应用11.4.1大数据治理战略目标数据的概念

大数据治理战略目标数据治理是一个从上至下指导、从下而上推进的系统性工程。为了使数据治理工作顺利开展并取得成效，需要诸多方面的要素保障，主要包括明确的战略目标、强有力的组织机构、合理的制度章程、清晰的流程管理以及具体的技术应用。战略是选择和决策的集合，通过绘制一个高层次的行动方案来实现更高层次的目标11.4.1大数据治理战略目标数据的概念

大数据治理战略目标03数据治理战略是否与企业发展战略相吻合，是衡量数据治理体系实施是否成熟的一条重要标准。在企业发展战略框架的指导下，应当逐步建立数据治理的企业战略文化，有力推进企业数据治理工作的顺利开展0201数据治理的企业战略文化主要包括企业高层领导对数据治理的重视程度、所能提供的资源、重大问题的协调能力，以及对数据治理文化的宣传推广、培训教育等一系列措施数据治理的战略组成部分主要包括：数据治理的愿景、商业案例摘要、指导原则、长远目标分解、管理措施、实施线路等。在实现数据治理战略目标的过程中，要在集体内部形成统一的认知，让他们充分意识到数据治理工作的必要性和重要意义，由此才能促使企业内部产生统一的行动11.4.1大数据治理战略目标数据的概念

大数据治理战略目标“垃圾进，垃圾出”在信息化领域广为人知，是指使用受到污染的“脏乱”数据做样本，必然产生毫无价值的研究成果。在数据的产生、采集、传输、流转、加工、存储、提取、交换等各个环节，都有可能发生数据污染，因此，要保证数据治理目标的顺利实现，就必须对数据进行全流程管控，要在集体范围内形成统一的数据治理认知，让人人有责的理念深入人心11.4.2大数据治理组织

大数据治理组织数据治理的组织制度组织负责数据治理和数据管理制度。这些组织具有横跨多部门的职能，会建立数据治理委员会、数据管理制度团队，负责整体数据战略、数据政策、数据管理度量指标等数据治理规程问题服务组织主要是由数据管理的专业人员组成，包括数据质量分析师、数据架构师、元数据管理员等，主要负责实施数据治理各个领域的具体工作11.4.2大数据治理组织数据的概念

组织架构在项目开始之前，必须构建有效组织机构，并做出明确的责任分工，这样才能确保项目成功并达到项目预期目标。同时，在确定如何成立以及成立什么样的组织，应该充分考虑数据主题自身的发展战略和目标11.4.2大数据治理组织数据的概念