数据质量与信息质量

数据质量与信息质量12456数据质量与信息质量数据质量的评价方法TDQM循环3质量信息的内容和类别大数据拓展数据与信息数据与信息

数据是客观记录事物的可以鉴别的符号，包括文字、数字、声音、图像等，具有客观性，是描述一个现象的原始事实，例如温度，价格。信息是以适合于通信、存储或处理的形式来表示的知识或消息，是通过对原始信息加工，产生明确、更容易理解的知识或内容，是在特定背景下有特定含义的数据。数据与信息区别

数据是信息的载体，信息是加工后的数据。

数据本身对我们来说并没有实际的意义，但通过处理、分析、解读、综合之后，就会获得可理解的、有价值的信息。数据质量与信息质量来源数据质量技术角度准确性依附产品质量大批量数据数据库技术基于数据库的有效的测量、分析和改进早期20世纪70年代至今关注数据数据语义内容信息产生的速度信息社会信息质量良莠不齐影响组织运作信息质量数据质量和信息质量的联系

从数据的产生到信息系统之间的过程是数据质量的问题，从信息系统到用户之间的过程是信息质量的问题

信息质量是在数据质量基础上得到的，包含了数据质量，数据质量的好坏在一定程度上决定了信息的质量。1.前后过程的关系2.包含关系数据质量和信息质量的区别(1)数据质量和信息质量所要解决问题的侧重点不同(2)数据质量和信息质量关注的对象不同数据质量和信息质量的区别数据质量是面向系统的，信息质量的研究对象范围更广泛，不仅包括数据质量的内容，还注重信息的内容特征。(3)数据质量和信息质量所反映的质量观念不同数据质量：符合性数据生产者→数据管理者→信息用户”，是一种任务驱动的管理方式。信息质量：适用性“信息用户→信息管理者→数据生产者”，将用户的质量要求传递到“数据生产者”。数据质量与信息质量管理产品观把数据或信息当做具有生产过程的产品这一观点是理查德.王在1998年就已经提出的。管理信息类产品需要对信息的理解有根本的转变，需要遵循

以下4个原则：

1)理解顾客的信息需求

2)把信息当成明确界定的产品来管理3)把信息当成具有生命周期的产品来管理4)由专门的信息产品管理者来管理信息产品数据质量和信息质量主要研究的内容数据质量的研究主要围绕两个方面展开：（1）数据质量的评估和监控（2）从技术的角度如何保证和提高数据质量。数据质量和信息质量的评价及其改进方法数据/信息质量评价包括数据、相关业务记录和报告系统以及涉及到收集、存储和使用组织数据或信息的业务流程。数据/信息质量的评价技术主要有三种：1数据/信息质量调查2可量化数据/信息质量指标3数据/信息完整性评价。数据质量的评估和监控数据质量评估的核心在于如何具体地评估各个维度，目前方法主要分成两类：定性的策略和定量的策略。

对数据质量可从若干个维度进行分析：（1）准确性（2）完整性（3）一致性（4）最小性（5）（6）可信度（7）及时性（8）易获取性。数据质量提高策略

人们常常抱怨“数据丰富，信息贫乏”。一个原因是缺乏有效的数据分析技术，另一个重要原因则是数据质量不高，如数据残缺不全、数据不一致、数据重复等，导致数据不能有效地被利用。原因：如何提高？数据质量提高主要分两个角度：一类是从预防的角度，即在数据生命周期的任何一个阶段，都有严格的数据规划和约束来防止脏数据的产生。另一类是事后诊断，即由于数据的演化和集中，会有脏数据涌现出来，需采用特定的算法检测出现的脏数据。数据质量提高技术数据清洗数据重复对象检测、确实数据处理、异常数据检验、逻辑错误检验、不一致数据处理等。数据清洗主要研究如何检测并消除数据中的错误和不一致，以提高数据质量。（一）重复对象检验主要研究两个方面：1、关系数据库数据的重复记录检验。2、XML重复元素检测。（二）缺失数据处理主要处理方法：1、单一填补法（平均值、中间数填补法、回归填补法、最大期望填补法）2、多重填补法（趋势得分法、PMM）（三）异常数据检测数据审计的方法，又称数据质量挖掘。（四）逻辑数据检测主要是数据编辑修正。（五）不一致数据处理排序、融合和依据规则的方式。数据质量的保证和提高遵循的过程数据质量分析发现问题应用独立清洗应用依赖清洗数据质量分析

在这个不断反复的过程中，数据中的问题逐步被发现解决，从而使数据质量得到保证和提高。这个过程周而复始，伴随数据的整个生命周期。数据质量的保证和提高遵循的过程居于核心的是质量维度监控评估;中间一层是不依赖于知识的数据清洗,最外层是依赖于应用逻辑的数据清洗。TDQM框架1992年MIT主导的全面数据质量管理项目(TDQM)提出了数据质量持续改进的框架——TDQM循环(1)定义；(2)评价；(3)分析；(4)改进TDQM框架在使用TDQM框架进行信息产品的开发时，也需要进行定义、评价、分析和改进四个过程:(1)定义信息产品，信息产品的定义有宏观和微观两个层次。(2)评价信息产品，关键是做好数据质量的评价矩阵。(3)分析信息产品，在获得信息产品的评价结果后，信息产品团队应该找出潜在数据质量问题的根本原因。(4)改进信息产品，分析过程完成之后，就进行产品的改进。质量信息的内容和类别

质量信息就是企业质量管理活动中产生的反映产品质量和工作质量情况及其变化的各种数据、图表、图像、文字及符号的总称。

质量数据是对生产过程测量结果的直接反映，而质量信息则是在对质量数据进一步分析的基础上得到的，更能反映问题的本质。质量信息的内容1.质量信息的内容（1）产品符合性信息。指反映所生产的产品和提供的服务与设定的质量标准符合程度的信息。（2）生产过程信息。指能反映生产过程能力和稳定性的信息。（3）顾客满意信息。指能反映顾客对组织是否已满足其要求的感受的信息。（4）采购信息。指与所采购的产品有关的信息。（5）根据在寿命周期中所处的阶段不同，分为设计质量信息、制造质量信息、检验质量信息、使用质量信息、用后质量信息和市场质量信息，分别表示在产品寿命周期的相应阶段产生的质量信息。（6）根据表述形式的不同，分为定性质量信息和定量质量信息。质量信息的作用(1)质量信息对提高产品质量有重要作用(2)质量信息是企业进行质量决策的重要依据(3)质量信息是质量管理的基础(4)质量信息是提高企业经济效益的需要质量信息分析1.质量信息的类别（1）根据质量信息的来源不同，分为内部质量信息和外部质量信息。（2）根据质量信息的功能不同，分为状态质量信息、质量指令信息和质量反馈信息。（3）根据质量信息的影响不同，分为正常质量信息和异常质量信息。（4）根据质量信息的性质不同，分为工作质量信息、工序质量信息、产品质量信息和服务质量信息。质量信息分析有效的质量信息应具有以下特性：（1）可靠性：可靠性要求质量信息要能够准确无误地反映产品和生产过程的质量信息。（2）有效性：有效性要求质量信息不仅要是准确可靠的，而且要能够反映企业存在的质量问题，要有针对性，要是决策需要的，要有助于企业做出正确的质量改进决策。（3）可获得性：可获得性要求企业做到在适当的时间使适当的人员能够获得适当的质量信息。（4）时效性：信息一般都有很强的时间价值，随着时间的延长，其价值会越来越小。因此，及时获得需要的质量信息也是成功地进行质量管理的关键之一。（5）安全性：企业必须保证只有经过授权的人员才能获得相应的信息。大数据维基百科对大数据的定义：大数据是指利用常用软件工具捕获、管理和处理数据所耗时间超过可容忍时间的数据集。大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。工业大数据(一)制造业从5M模式向6C模式转型将催生工业大数据(二)工业大数据为研究工业复杂系统动态行为机理提供可能5M：Material(材料)、Ma-chine(机器)、Methods(方法)、Measurement(测度)、Modeling(建模)。6C：Connection(连接)、Cloud(云储存)、Cyber(虚拟网络)、Content(内容)、Community(社群)、Customization(定制化)。在制造智能化时代，