信息资源质量评估课件

信息资源的质量评估-2013.10.16

课时介绍信息资源质量的内涵信息资源质量评估的意义指标体系的设计信息资源质量评估方法信息资源质量评估的流程和实施案例学习1.信息资源质量的内涵1971年，Marschak提出信息资源是一个十分具体的概念，认为信息资源质量表征的是信息描述客观事物或事件的准确性程度。1992年，Juran指出，可从一般意义和具体意义两个角度描述信息资源的质量，即信息资源的有用性和具体条件下的适用性。2.信息资源质量评估的意义根据数据仓库研究所(TDWI)2002年的一项研究报告指出,在美国,每年耗费约6000亿美元,用于信息资源评估和保证信息质量。在信息时代,信息质量问题已开始成为影响决策的核心问题之一,成为企业的生命线,正在引起越来越广泛的关注。对组织和企业而言，信息资源主要已信息产品和信息服务的形式呈现，并且它们具有价值和使用价值的双重属性。

信息资源的价值具有普遍性

信息资源的使用价值是基于个体的2.信息资源质量评估的意义2.信息资源质量评估的意义信息资源质量评估的效果直接决定着整个信息资源管理的基础，因为信息质量的问题始终贯穿于信息资源管理的整个价值链，并决定着各阶段的效率。

搜集→整理→组织→共享→利用→反馈2.信息资源质量评估的意义

公司治理，内部控制IPO，上市公司

融资能力会计信息质量评估股权结构

中小企业财会信息

会计制度国际化

审计方法

引例：病案质量评估作为医疗行为的信息载体，病案需详实、客观的记录了医务人员在诊疗过程中的诊疗行为。病案即是宝贵的医学信息资源，同时也是医疗、教学、科研等工作的重要参考资料。评估指标设计病史记录体格检查入院后病志创建时间病例有无鉴别诊断记述病程记录医师信息据统计，2011年，31个省(区、市)主动公开政府信息2885万多条，办理依申请公开信息130多万条，85%以上申请都予以公开。中央国家机关各部门各单位主动公开政府信息149万多条，办理依申请公开信息3000多条，70%以上的申请都予以公开。相关性：我国政府在公开信息时从自身角度而不是公民角度出发，并未将公民的需求置于政府信息公开工作的中心，致使公开一些政府喜欢而公民不喜欢、对公民没有用处的信息。完整性：在财务管理一类中，广州市人民政府于2012年2月29日发布了《广州市市直行政事业单位2010年“三公”经费开支情况》，该文件只是粗略地公开了“三公”经费开支，并没有将完整的、准确的经费开支信息告诉公民。即时性：以湖北省石首事件为例，2009年6月17日，一名酒店厨师非正常死亡，由于死因离奇，所以有关该事件的消息迅速传播。6月19日，不明真相的群众在该市东岳路和东方大道设路障，阻碍交通，现场秩序混乱。直到事发后第3天即6月19日，石首市政府网站才澄清事实。3.指标体系的设计基于对信息资源质量的不同理解和不同学科背景，不同学者各自提出了一套评估指标体系。不同的用户，不同的应用领域也需要着不同的信息质量评估体系来评估。3.指标体系的设计四个层面的评估标准：基于信息资源内容的评估指标基于信息资源表达形式的评估指标基于信息资源系统的评估指标基于信息资源效用的评估指标3.指标体系的设计基于信息资源表达形式的评估指标：1.准确性–信息符号值与真是信息值相符程度2.可理解性–信息符号是否易于理解3.精简性–信息符号是否简单明了4.标准化程度–各种信息表达技术的统一程度(数据库存储，网络通信，电子数据交换等)3.指标体系的设计基于信息资源系统的评估指标：1.完备性–信息资源的系统性和结构体系的完备2.可获取性–主要是指易得性和可操作性3.快速响应性–系统是否反映敏捷4.可靠性–包括稳定性和安全性3.指标体系的设计基于信息资源效用的评估指标：1.可用性–能否取得相关信息资源的使用权2.适量性–信息资源数量是否合适3.利用率–被使用的次数和深度（点击率，下载次数，流量，被引用次数）4.价值增值性–信息资源的经济效益和社会效益指标体系设立1)正确性：指记录的值与现实世界的事实或值相一致。被数据消费者认为是数据质量的最重要的特征。2)完整性：这个概念主要描述应用所关心的所有记录是否全部被收集并存储。对于矿业生产监测信息,完整性表示所需监测点的数据完全获得,不完整的信息意味着缺少如某些监测点的矿压或者瓦斯数据,因而不能做出及时、合理、正确的决策。指标体系设立3)时效性：指记录的值未过期。有些数据必须及时获得,以帮助迅速制定决策,而有些数据则时效性要求不高，比如战略制定者也许要使用几年来的信息,而生产管理者需要近期的数据。CaseStudy–健康类网站据调查,28.21%一71.79%的网民不同程度的通过网络获取健康知识,在人们对健康信息和医疗服务大量需求的背景下,健康类网站应运而生.样本收集以各网站的月均月度覆盖人数等用户访问数据为主要指标，根据2012年3月至2012年6月3个月的健康类网站排名趋势，同时利用/百度/谷歌搜索引擎进人网站，剔除无效链接的网站，选出目前我国用户访问量较大!具有一定影响力的20家健康类网站指标选择&评估①权威性：20家网站没有一家取Honcode认证,同时也无一家网站获得其他国际上著名的认证,如Discern，URAC医学网站认证和MedCIRCL等（HONcode作为目前国际上具有广泛影响力，

运用比较成熟的国际准则,在2009年就有118个国家的6500多个网站取得HONcode的认证）指标选择&评估②目的性：在这20家网站内仅有20%的网站合理地介绍关于某一特殊疗法,产品或服务益处和功用,并链接到产品的官方网站,同时提供可供选择的其他产品或服务.

“但大部分网站在产品介绍时有广告宣传的成分,还带有”最好”,”第一”等字样,没有提供可供参考的科学依据,期刊说明,实验报告等.指标选择&评估③作者可靠性：在这20家网站中,仅6家网站注明信息编辑者的名字，职位等相关信息,其他网站或是只有信息编辑者的名字,或是信息编辑者采用的是同一个人的名字,有的网站内信息甚至是匿名发表的。指标选择&评估

④内容可靠性：健康类网站,大部分都涉及到医疗临床专业知识如疾病的简介发病的特点等,但这些网站内均没有提到相应的参考书籍文献,且网站均显示的是信息发布时间,而不是原始创建时间或修订日期。4.质量评估方法

普遍认为，对信息资源质量主要采用数理统计方法进行研究，并以克劳德·艾尔伍德·香农（ClaudeElwoodShannon）在1948年创立的信息论（InformationTheory）为基础。

但是目前还没有成熟的适用于所有信息资源评估的通用方法，已有方法大多是针对某一类特殊的信息资源。4.1质量评估方法分类分类按内容按涉及范围按评估主体知识型信息微观自我评估经济信息中观非我评估社会信息宏观

4.1质量评估方法分类分类按类型按定性、定量传统的文献定性定量数字资源半定量

4.2定性评估方法定义：定性评估是评估主体按照某种评估标准，借助专业知识和个人经验进行估计和推断的一种评估方法。

定性方法强调的是给予理解的“直观认识”，一般不含定量分析和具体数量指标，因而往往具有很大的主观性。4.2定性评估方法定性评估方法包括：问卷法访谈法观察法对比法同行评议4.3同行评议同行评议就是某一或若干领域的专家采用同一种评价标准，共同对涉及相关领域的一项事物进行评估的活动。同行评议是国际组织评估科研成果的主流方法。

美国国家基金会（NSF）

德意志联合研究会（DFG）

欧洲科学基金会（ESF）

4.4定性分析的优缺点能从整体上把握信息资源的概念，适用于评估较难量化的因素和复杂的信息行为。并且可以充分发挥人的经验和智慧，从而拟补统计数据不足而产生的局限性。评估结果受评估主体主观意识的影响和知识的局限，易带有个人偏见。4.5定量评估方法定量评估主要是通过数字或其他科学手段对对象的量做出判定和分析评估，并保证评估结果在一定的置信范围内。基于不同的理论，针对不同的评估对象，定量评估的方法也多种多样。4.6基于信息熵的评估法S表示例子集的总数U表示事件的可能状态P代表某种状态发生的可能性4.6基于信息熵的评估法信息熵越大，事情发生的不确定性越大，反之亦然。在所有状态出现的几率相等时，熵达到最大，而某种状态的概率越发增大时，熵越小。Shannon认为信息的价值就在于能够消除事物的不确定性。因此可将信息熵的减少量作为信息的效用和价值的评估标准。4.7文献计量评估文献计量评估是以“布拉福德定律”，“洛特卡定律”和“齐普夫定律”为理论基础主要评价：

①评估文献信息源，即出版物级别

②学术成果的传播与反响

③评估对象被引用的刊物评价（引文分析法，文摘法）CaseStudy美国图书馆对电子信息资源质量评估的综述图书馆内部的电子资源的评估问题则比较复杂，因为既要考虑到资源本身的价值，也要考虑到与图书馆自身的匹配程度。CaseStudy选择资源的标准：平均成本，预期绩效与图书馆系统是否兼容内容完整性、重要性和预期使用率允许到馆的其他用户使用允许用于电子教辅资料、服务支持、对撤销订购的限制和对馆际互借的支持。CaseStudy评估方法与策略：图书馆直接采购电子资源也有一个循环的评估路径。与馆藏发展相关的众多图书馆员都要参与到电子资源的采购与更新评估之中。联盟内的馆藏发展馆员会互相派出，参与到更多联盟内其他图书馆的专业、学科资源的评估。CaseStudy总结：

由此可见，国外许多研究是通过绩效评估来验证信息资源质量的，进而实现对其质量的评估，而不是单纯地应用某个指标体系进行定性分析或定量评价。国外的研究以项目研究居多，通常由特定的机构或联盟来实施，具备组织大规模数据收集和调查的能力。4.8网络信息计量评估网络信息资源的评估是利用网络的动态性，交互性的特点，通过对网络资源利用的统计分析实现的。（链接分析，网络影响因子）Google的PageRank就是根据网站的内外部连接数来评估网站的质量，此外还有访问量，点击率，下载率等。4.9半定量–德尔非法德尔菲法，是采用背对背的通信方式征询专家小组成员的预测意见，经过几轮征询，使专家小组的预测意见趋于集中，最后做出符合市场未来发挥在那趋势的预测结论。团队成员之间不得互相讨论，不发生横向联系，只能与调查人员发生关系，以反复的填写问卷，以集结问卷填写人的共识及搜集各方意见。4.9半定量–德尔非法4.9半定量–德尔非法能充分发挥各位专家的作用，集思广益，准确性高。能把各位专家意见的分歧点表达出来，取各家之长，避各家之短。避免权威人士的意见影响他人的意见；避免有些专家碍于情面，不愿意发表与其他人不同的意见避免出于自尊心而不愿意修改自己原来不全面的意见。5.评估流程

需求分析界定评估目的计划并实施设定质量衡量尺度选择评估策略CaseStudy-1背景介绍：2007年，微软的知识部门对企业的内外部信息源做了一次评估，评估发现这些企业日常社交的信息源中隐含着大量有价值的信息资源。为此，2008年，微软12亿美金收购一家提供企业社交服务的公司Yammer来为其提供企业内部的社交网络，从而能够有效的收集与管理内部线上会议，员工讨论组及员工与客户交流时产生的大量信息流。CaseStudy-1Yammer简介：Yammer是2008年9月推出的一个企业社会化网络服务，但随着Yammer平台上功能和应用程序的逐渐增多，让Yammer不再仅是一个通信平台。这些新的应用程序包括投票、聊天、活动、链接、主题、问答、想法等等。它提供的ActivityFeed（活动源）可以聚合同事们在所有企业应用程序中的活动，而且用户还可以对内容进行关注。CaseStudy-1Yammer带给微软的价值：

封闭性的企业微博：可以和企业的邮箱系统进行整合，只供企业的内部员工访问，即提供了企业内部的信息交流平台，又防止了企业敏感信息外泄，是替代企业内部论坛的一个工具。CaseStudy-1国内现状：

中国员工在社交平台上自由发言的可能性微乎其微，再者上班的时候也没有必要集体侃大山。真正有价值的场景，是针对某一件事，某个任务，某个项目或是某个客户进行的一些交流。这些信息是真实有用的，但目前它们99%都在QQ群或是微信群里，多数情况是聊完就完了，无法进行二次利用。CaseStudy-2背景介绍：

不仅对个人用户而言，在政务和商务领域，微博也已成为一个十分重要的信息资源。对政府和企业而言，微博中蕴含的信息资源有着即时，易获取，易理解，可靠性高和高增值性的特点。CaseStudy-2越来越多的政府部门开通了官方微博，通过微博直接快捷的获取群众的意见和看法，比如在推出一些新的政策之前，会通过微博来做民意调查。反腐部门甚至成立专门机构通过微