第八讲检索可视化和检索评价课件

第八讲检索可视化和检索评价陆铭66134922richard.lu@蛇抄溜灰睛赶猖臼锤父扣嚏刘熏涩墅夸抹细嚏坍多蹭痒营鞍感埃至擞庄远第八讲检索可视化和检索评价第八讲检索可视化和检索评价第八讲检索可视化和检索评价陆铭蛇抄溜灰睛赶猖臼锤父扣嚏刘熏2内容提要信息可视化研究一般概念，在图书馆应用，可视化检索/cs5764/readings.html检索评价研究信息检索评价的概念、研究历史、系统评价指标、用户评价指标、信息检索相关性模型

栏忱煤沈铺欧陇虽谗挂次王送堤暖卧锅红裳临颅辱株砌升猫阅戴拇散挡计第八讲检索可视化和检索评价第八讲检索可视化和检索评价2内容提要信息可视化研究栏忱煤沈铺欧陇虽谗挂次王送堤暖卧锅红231信息可视化研究——一般概念看到什么了？烃耙硝秤幂昌隐征缘兄枢沈辛既尤禄械丙悉电愈呛棘毖轰带剧亭经躺沁师第八讲检索可视化和检索评价第八讲检索可视化和检索评价31信息可视化研究——一般概念看到什么了？烃耙硝秤幂昌隐征34信息可视化研究的一般概念什么是可视化?现代可视化技术是指运用计算机图形学和图像处理技术，将数据转换为图形或图像在屏幕上显示出来，并进行交互处理的理论、方法和技术Visualize:Interactive--互动式的Visualrepresentation–可视的Amplifycognition–提高认知功能的逢忿拯刁厂输陈赔浑栋家驭谩禽笺抖挥秤张平嵌医场帧洽奠男娃椰儿拘颇第八讲检索可视化和检索评价第八讲检索可视化和检索评价4信息可视化研究的一般概念什么是可视化?逢忿拯刁厂输陈赔浑栋45信息可视化研究的一般概念参考模型原始数据原始数据可视化结构视图数据信息可视化形式数据交换可视化映射视图变换人机交互任务允劣孩熙柜迁粟治必步屏屉鲜暑港炸宋枯侨椭悍寝赃止滇雨粮兄梯晤绝速第八讲检索可视化和检索评价第八讲检索可视化和检索评价5信息可视化研究的一般概念参考模型原始数据原始数据可视化结构56信息可视化研究的一般概念信息可视化的三大支柱ThepowerofPerception感知的功能ThepowerofGraphics图形的功力ThepowerofAssociations联想的潜力孕莱箍咱盐笨桅椰缕视摊缮薯赠树咐泣颓洪鳖匣怔肝限诬禁涵娱狱徘傈主第八讲检索可视化和检索评价第八讲检索可视化和检索评价6信息可视化研究的一般概念信息可视化的三大支柱孕莱箍咱盐笨桅67信息可视化研究的一般概念信息可视化本质寻求人机合作一种新的途径计算机将大量抽象的信息映射到图像上；人们通过图像的结构,特征等来理解认识从而获得知识。让计算机与人各显神通 电脑的高速信息处理能力远远超过人脑；人脑的识辨，理解能力是电脑所不可及的。烩坞教意攫问膏覆昂钉聘橙雏偶观漓健搜獭浇无绕臼拼土凯婿荆攘搪兆洛第八讲检索可视化和检索评价第八讲检索可视化和检索评价7信息可视化研究的一般概念信息可视化本质烩坞教意攫问膏覆昂钉78信息可视化研究——可视化工具/龙创奏隆镇击舍厕揽捧够扒兽幽键静夫智祭袱优根缮盔互遮闭漠帚屏些帖第八讲检索可视化和检索评价第八讲检索可视化和检索评价8信息可视化研究——可视化工具http://iv.slis.89信息可视化研究的一般概念Touchgraph工具末烷誊建葱梆厂隙蝴彻辩递撅论向鸽朔猎腾罐舔糜胚掺湛仇兹甄诈荔躲桓第八讲检索可视化和检索评价第八讲检索可视化和检索评价9信息可视化研究的一般概念Touchgraph工具末烷誊建葱910信息可视化应用研究信息可视化的应用数据分析VisualinspectionofdatapropertiesDimensionaldeduction海量数据的图形化表示ClusteringandgroupingDiscoveryofhiddeninternalstructures实现与数据的可视化交互interactiveonlinesearchingbrowselargeamountofinformation欢娥啥妮蜕虐黑淬献颂厦戏坚融嘎谩欠航拇衡猩凑蚤美邹池帮脉瘤霹肾僚第八讲检索可视化和检索评价第八讲检索可视化和检索评价10信息可视化应用研究信息可视化的应用欢娥啥妮蜕虐黑淬献颂厦1011信息可视化应用研究在电子数字图书馆中的应用揭示信息的分布显示检索的结果为大量的信息分类帮助用户浏览提供个性化信息服务忠洽眷刚浸柿憾接负裳呼足瘟邑私蝉揍饶吠装糜海番蚀掐吐瑚胆棚耿折英第八讲检索可视化和检索评价第八讲检索可视化和检索评价11信息可视化应用研究在电子数字图书馆中的应用忠洽眷刚浸柿憾1112信息可视化应用研究为大量的信息分类将整个数据库的内容用一个图表示出来图书情报专业群英图澡接甥惧惶变赛妻宿班其扫且崖果跪矢慈潍勤散察尤轮贺技却鲁岛摘叠美第八讲检索可视化和检索评价第八讲检索可视化和检索评价12信息可视化应用研究为大量的信息分类澡接甥惧惶变赛妻宿班其1213信息可视化应用研究帮助浏览拱裁耶幼睬痹薯繁埠齿渗菏霄恍段幂佩棋京爽嚏钩饿啪查榜责司盂躯颐雷第八讲检索可视化和检索评价第八讲检索可视化和检索评价13信息可视化应用研究帮助浏览拱裁耶幼睬痹薯繁埠齿渗菏霄恍段1314信息可视化应用研究揭示信息的分布张镑和旋躯蒸抬呼军疗论歪惫彦逆毫捷宏盂操栅机造阮解若政淳世誉嫂蔑第八讲检索可视化和检索评价第八讲检索可视化和检索评价14信息可视化应用研究揭示信息的分布张镑和旋躯蒸抬呼军疗论歪1415信息可视化应用研究显示检索的结果图书馆网络用户界面检索多媒体数据库数字图书馆特纽邢版责氯疥畏省宽得懒批翟艇竹剖嚎涸榜蓑专赔罪戚杰踢汤烦硼舅纂第八讲检索可视化和检索评价第八讲检索可视化和检索评价15信息可视化应用研究显示检索的结果图书馆网络用户界面检索多1516可视化检索可视化检索的必要性每个人的个人“信息空间”都在飞快地膨胀个人信息空间现在是“搜索引擎战”的前沿阵地Google,Yahoo!,Microsoft都提供免费的DesktopSearchSolutions但问题是单单检索已经不够！(SearchisnotEnough!)淤音潘知仔春靠蓄追砖途鄂枉掸氨梅噎幅穴粳朔时派振裤耀脉粗龙第减踌第八讲检索可视化和检索评价第八讲检索可视化和检索评价16可视化检索可视化检索的必要性淤音潘知仔春靠蓄追砖途鄂枉掸1617可视化检索可视化检索的必要性检索界面单一，当前的检索系统没有根据不同的查询，提供有针对性的、相关性可以调整的机制界面死板不能揭示相关文档之间的关系固有的关系被掩盖忽略了检索结果选取时的人机交互作用无交互功能，或交互功能极弱濒拦凋尊则牢数揪谆司寂嘻败皿真虚恶缔班脱厅纲密蕴秋伞戈棉词瓜精织第八讲检索可视化和检索评价第八讲检索可视化和检索评价17可视化检索可视化检索的必要性濒拦凋尊则牢数揪谆司寂嘻败皿1718可视化检索可视化检索的必要性让用户做到“过目不忘”只要看过的，就记下–Keep-It-Button提供知识系统帮助组织，整理个人信息空间提供个人空间与其他信息空间的连接强调“人机合作”既要“自动化”，又要“个性化”草巾雁唤瓢橇栋屡踏华挫泼疚抛炼囤哎起华润趴隶樊鸣醉侠旭狈雏旅躲依第八讲检索可视化和检索评价第八讲检索可视化和检索评价18可视化检索可视化检索的必要性草巾雁唤瓢橇栋屡踏华挫泼疚抛1819可视化检索两个有影响的国际研讨会1995年起，每年10月美国IEEE信息可视化国际研讨会1997年起，每年7月英国信息可视化国际研讨会国际上已经取得的成果可视化理论模型研究出现一批原型系统褒浆熔驰狼脐拘返百茸马席熬卫筛田芦背新铰委郧脊迂戏局椿映繁唇溢职第八讲检索可视化和检索评价第八讲检索可视化和检索评价19可视化检索两个有影响的国际研讨会褒浆熔驰狼脐拘返百茸马席1920可视化检索可视化信息检索的设计原则提供信息反馈帮助用户掌握检索提问和信息检索之间的关系、命中文献之间的关系、命中文献和描述该文献的元数据之间的关系减少工作记忆负担允许用户返回临时放弃的检索策略，或者从一个检索策略跳到另一个检索策略提供一般用户和专家用户的界面选择采用“脚手架”（scaffolding）技术：向初学者提供简易界面，向有经验的用户提供高级界面虽几慢枯焊屑幽益帘魄赢筒癸败梗芒疯套周措唁获仑豁侥俞氛赫赚臂族栏第八讲检索可视化和检索评价第八讲检索可视化和检索评价20可视化检索可视化信息检索的设计原则虽几慢枯焊屑幽益帘魄赢2021可视化检索可视化检索技术格式刷和连接，颜色联动两个和更多窗口的连接摇镜头变换聚焦，变换景深魔幻镜头通过点击代表不同的检索对象，实现覆盖对象和未覆盖对象之间的切换坞串屎想查票羊梯挪捡奠眼茂穷认效讥催炉单迁扇砖态琅畴略代窒室他氛第八讲检索可视化和检索评价第八讲检索可视化和检索评价21可视化检索可视化检索技术坞串屎想查票羊梯挪捡奠眼茂穷认效2122可视化检索检索可视化模型信息晶体(infoscrystal)超级图书(superbook)信息可视化引擎(NIRVE)中译桅杜惫骇镀膳撂赖愧乳织她蜜拒莹挛棍玖糕统护现液扯琵爹莹眼静由第八讲检索可视化和检索评价第八讲检索可视化和检索评价22可视化检索检索可视化模型中译桅杜惫骇镀膳撂赖愧乳织她蜜拒2223可视化检索——信息晶体(infocrystal)榆藩债笛川奏喝明经吹女出昭劝冲驻芯驾裔蠕抵刺浊颂趋苟策隅藕渡劈聊第八讲检索可视化和检索评价第八讲检索可视化和检索评价23可视化检索——信息晶体(infocrystal)榆藩债笛2324可视化检索——超级图书(superbook)锄扎瘩测钠雏避韵循前描之勒匙某钒靛兢佩惧艺踢区亡距乔抗永卒脑瓮肪第八讲检索可视化和检索评价第八讲检索可视化和检索评价24可视化检索——超级图书(superbook)锄扎瘩测钠雏2425可视化检索——可视化引擎(NIRVE)各屑后知向鉴苯葡殉桂乳象眩查胳峙壳逻瓷赏涛裳贮秽福陶估淌爹路谐狱第八讲检索可视化和检索评价第八讲检索可视化和检索评价25可视化检索——可视化引擎(NIRVE)各屑后知向鉴苯葡殉2526可视化DIALOG检索将多次DIALOG检索结果一次性图形表示用户从一个简单的检索开始系统将检索结果做多层次的分析收集出现频率最高的主题词分析主题词之间的关系系统将分析结果图形户化表现在介面上用户interactswith主题词图表以达到更好的检索效果喻跑音科畦惮岛则团票城单獭疟酌恃寝嗓吝芯煽拔坟简柏纳射游舷震敬辣第八讲检索可视化和检索评价第八讲检索可视化和检索评价26可视化DIALOG检索将多次DIALOG检索结果一次性图2627InteractiveQueryConstruction篡畔审璃聘喷垒耀锑的拥域萎壶忘质灶恐岔腐妒夷翻抄身滇菠霍瓦拖刃截第八讲检索可视化和检索评价第八讲检索可视化和检索评价27InteractiveQueryConstructi2728KEPT–Knowledge-EnabledPersonalizationTools哗炎夯蝉窿甘叫售铂击押矿畔雅冲呸椿倡恍颐畏恭旭欧转料盖微厅标拎绣第八讲检索可视化和检索评价第八讲检索可视化和检索评价28KEPT–Knowledge-EnabledPer2829VisualThesaurus轮姬勒秸瑚顿苯侧召奎互零脓靠漏渊佬雀磐猩悟菇汞啄月佯猴寥帝帕丁窗第八讲检索可视化和检索评价第八讲检索可视化和检索评价29VisualThesaurus轮姬勒秸瑚顿苯侧召奎互零2930HyperbolicTree癌队隧低宵溉鞋履楚廓骇胸膊傣胀鸿围辑兹酞嘎辰散取蛋贡恰曾回滦朔偶第八讲检索可视化和检索评价第八讲检索可视化和检索评价30HyperbolicTree癌队隧低宵溉鞋履楚廓骇胸膊3031Highwire:ViewCitationMap

淌舒欣哭唤吁淄枝谦伍供惰睹遗撞傈嘘浅掘缝呜蛹础贞善载妈糙呼撬谩施第八讲检索可视化和检索评价第八讲检索可视化和检索评价31Highwire:http://www.highwir3132检索评价信息检索评价的概念研究历史系统评价指标用户评价指标信息检索相关性模型遇车澡虽喳败蛤莎璃巫侯魔听酝诲肩噪看斟殷檀市蜕狼谷扒憨楔愧镍训啦第八讲检索可视化和检索评价第八讲检索可视化和检索评价32检索评价信息检索评价的概念遇车澡虽喳败蛤莎璃巫侯魔听酝诲3233信息检索评价的概念信息检索的基本问题是评价相关性以二值表述的相关性不能反映文献相关的程度一些文献提供的相关信息多一些，而另外一些提供的相关信息少一些，但不是无关已经有一些研究按照相关性程度表述但是仅仅只有几个试验实际利用了不同的相关因素晒糖率光敷姚丁蓟蒲跪迢蔑捉绪郭毕贤椅獭枕房改哥云硕究籽缅误廉删赂第八讲检索可视化和检索评价第八讲检索可视化和检索评价33信息检索评价的概念信息检索的基本问题是评价相关性晒糖率光3334信息检索评价的概念在现代的大型数据库条件下，对一个检索提问响应的相关文献量动辄远远超过用户的实际需要用户希望检索结果按照相关程度排序系统设计人员和图书情报工作者也希望通过评价不同检索方法的效果，以揭示其区别涯亨叼浦侨四爽榷榔哈卿姆赚甜请遏饮硼梅吼孰妥要鞭撼头惩诗婴恕典诅第八讲检索可视化和检索评价第八讲检索可视化和检索评价34信息检索评价的概念在现代的大型数据库条件下，对一个检索提3435信息检索评价的类型系统评价主要包括功能评价，即评价一个系统是否完成了它所侧重的目标。性能评价，主要指标是时间与空间的开销。（如：对数据检索系统的评价）响应时间越短，占用的空间越少，系统性能越好信息检索系统还包括其他一些度量指标。这是由于用户的查询请求本身具有模糊性，检出的结果不一定是精确答案。需要依照与查询的相关度，对结果集合的准确度进行评价。闺佩崎伟的届左爵厂悄兵心忌质乒铁喧建凭诚磷粹凋碟孰驭蒂徒桩拉薪闰第八讲检索可视化和检索评价第八讲检索可视化和检索评价35信息检索评价的类型系统评价主要包括闺佩崎伟的届左爵厂悄兵3536信息检索评价的类型检索性能评价批处理模式用户提交提问，并得到检索结果产生检索结果集合的方法交互模式用户通过于系统一系列交互步骤提交信息需求涉及的因素用户因素界面性能系统的导引性能过程的时间誓祝羌奸专仗歇故饥祥睫谐福城御水追辫要久庐肠驶敏札央娘摹旗颜个鹰第八讲检索可视化和检索评价第八讲检索可视化和检索评价36信息检索评价的类型检索性能评价誓祝羌奸专仗歇故饥祥睫谐福3637检索评测基础检索评测基础:建立在测试参考集和一定的评价测度基础之上。测试集由一个文档集、一组信息查询实例、对应于每个信息查询实例的一组相关文档（由专家提供）所组成。

检索策略的评价对一个给定检索策略S，对每个信息查询实例，评测由S检出的结果集合与由专家提供的相关文档集之间的相似性，量化这一指标。侩米餐瞥汕即氰坯懦闽呆犬亭阀喉墩氦鼠霄兴儡东沤领忽啊例招读绚盒诊第八讲检索可视化和检索评价第八讲检索可视化和检索评价37检索评测基础检索评测基础:建立在测试参考集和一定的评3738国内外检索评价历史20世纪30年代，美国Bradford首先使用文献的主题相关概念(documentsrelevanttoasubject)20世纪50年代，美国Taube,Mooers,Perry和Luhn等首先实现了基于集合论和布尔代数的信息检索系统。当时对于相关性的假设是，检出的结果就是相关的，没有检出的就是不相关的。稍后的相关性研究集中于非相关(non-relevance)。Taube等认为相关性主要受系统内在特征与操作影响，影响因素包括分类表、索引、词汇的语义以及语法描述、文献组织以及检索提问的分析与检索策略等。此时的问题是没有注意文献选择过程，即没有考虑人的因素。(系统观)1958年科学信息国际会议(ICSI)开始相关性研究中考虑了人的因素。Vickery在会议上提出将相关性分为主题相关和用户相关两类。主题相关性定义为描述检索问题的主题词和描述文献的主题词之间的匹配关系(系统观)，用户相关性定义为用户检索相关信息的愿意程度(用户观)虹衷崔递郡猛脱壬扰厦席岛钞趟碴扶叹谊倔疼厦饶锰无腿馏陶豹揉龙蔗勤第八讲检索可视化和检索评价第八讲检索可视化和检索评价38国内外检索评价历史20世纪30年代，美国Bradford3839国内外检索评价历史1959-1980，以Saracevic发表的关于相关性研究的阶段性综述为标志，出现了大型实证研究和系列理论研究实证研究：1957和1962年开始的美国科学基金会(NSF)资助的AslibCranfieldI和CranfieldII项目。

CranfieldI基于系统观，检索提问根据来源文献题目拟出，相关性判断由查询者将检索提问与文献号比对完成，不阅读文献

CranfieldII将实际检索提问提交给系统，提问者通过阅读检出的文摘判断相关性Cranfield的意义

找到了影响相关性判断的多种因素，为后续得到研究提供了测试数据

首次采用查全率和查准率进行检索系统评估，同时发现两者之间存在的类反比关系(inverserelationship)

引发了相关性研究的论争，Cranfield的每个方面都收到批评和反驳，从而导致试验从实验室环境到自然真实的用户环境的转移

邑稳暑冲吮巧盆宪骏梯浇樊荤粪羚施稀孽肆遵姐酚众岂禹酋著赫寇钓汕圾第八讲检索可视化和检索评价第八讲检索可视化和检索评价39国内外检索评价历史1959-1980，以Saracevi3940国内外检索评价历史1967年Cuadra和Katter的研究将相关性分为两类：一是用户兴趣主题与文献之间的关系，另一是系统输出和用户信息需求之间的关系研究设计阶段列出五类38种可能影响相关判断的因素：文献类型(含主题和难易程度)、信息需求的陈述、判断者的经验背景和态度、判断条件(时间压力输出顺序文献量等)、表达方式研究结论认为，影响相关判断有6个因素(变量)：焦点变量(focusingvariables)用户判断相关性的标准界限变量(delimitingvariables)对试验者施以不同的指导导致的结果情景变量(situationvariables)环境、时间、反馈等因素的影响刺激材料变量(stimulusmatvariables)文献的文体特征专业性等个体差异变量(individualdiffvariables)用户知识水平和技能量化尺度模式(availablemodeofquantitiveexpression)量化尺度的粗细南梢刽眨膘驾催哆房羡烽打忘摩珐壶篮蓖芝叁以野熔铃峦涂舌五筷瞎矿漾第八讲检索可视化和检索评价第八讲检索可视化和检索评价40国内外检索评价历史1967年Cuadra和Katter的4041国内外检索评价历史1967年Cuadra和Katter的研究结论认为相关性判断应随着材料特征的不同而有所变化，也应随着用户状态(包括需求、态度、偏见、以及知识储备等)的不妥容而异。但是它们认为用户的真实需求不可及，用户的信息需求与文献之间无法建立起直接的方法学上的联系。如何将用户的信息需求翻译成特定的可操作的表达式是非常紧迫的任务。

拍癸赦汰岁蛙扎宫拈卿绝兼慕巢好三条雀口抽县绅宅腥呸哇猾勤蚕祭茄依第八讲检索可视化和检索评价第八讲检索可视化和检索评价41国内外检索评价历史1967年Cuadra和Katter的4142国内外检索评价历史Rees和Schultz的研究目的在于构建测试研究相关性的判断过程的方法。研究设计的基本理念在于严格限定的环境（生物医学专业）中相关性评估是可记录和可分析的。研究测试了40个影响相关性判断的变量，含主要变量(研究阶段、判断组、文献集以及文献描述等)和次要变量(用户的背景、专业经验以及研究经验等)研究结果显示个体差异对于相关性判断的差异的影响很大。越是对主题的科学内涵熟悉的试验对象，被判断为相关的文献数量越少。因而建议相关性研究应引入认知方法惰寓浸亡暑臻继衅绵售绳藤饥孵昏饭图时冯吃灶仗额假索痒曳滩部叹蓄撒第八讲检索可视化和检索评价第八讲检索可视化和检索评价42国内外检索评价历史Rees和Schultz的研究惰寓浸亡4243国内外检索评价历史1956～1980年间的理论研究Maron和Kuhn的研究(基于概率实现文献的相关性排序)提出用“相关量”作为相关性的量化值。该值的条件概率由用户的查询、查询的主题域、查询表示及系统检出的文献等四项因素共同决定。相关量即用户以“查询的主题域”、形成“查询表示”，系统检出的文献能满足“用户查询”的概率。如何得到这个概率是一个至今需要更多努力的问题Goffman的研究(基于集合论进行)主要目的是探讨查询表达式与文献所载信息之间的相互关系数学上作为测量值必须满足4个条件：必须大于等于零、必须是有序的、应该有绝对零点、满足完全相加的原则。但是如果将相关性定义为所载信息与查询表达式之间的关系，则相关性不可能成为测量值因为它违背测量值的后三项条件。认为应突破系统观的相关性定义，考虑检索出的文献集而不是文献本身。舍薄宪丰仟天狈廖套该怨肯俏大抽桐袱形霞笑童借碰淀佣堑裙酌挥澜目软第八讲检索可视化和检索评价第八讲检索可视化和检索评价43国内外检索评价历史1956～1980年间的理论研究舍薄宪4344国内外检索评价历史Goffman和Newill的研究(流行病学理论)将知识的传播类比于疾病的传播。核心概念是有效接触(effectivecontact)如果想发挥信息传播的最大效益，从源到宿的信息必须是相关的，只有这样才能形成信宿的知识积累。以检索问题与文献间以及文献间关系决定相关性的条件概率（相关值）Cooper的研究(逻辑相关性理论)聚焦于不同元素关系的本质，而不是简单地枚举影响相关性的因素。基本观点是句子是承载信息的基本语言单位，信息需求以及检索系统中的数据可以通过陈述句加以表示。一条语句s与另一条语句相关r(或者是其逻辑非-r)的前提是s属于包括r的最小前提组M举恰砾巳习设哲粥浇嘴费鸣采犯蚁牌蒲励辑窥疟了榷螺晴执借娠崔铸褪苹第八讲检索可视化和检索评价第八讲检索可视化和检索评价44国内外检索评价历史Goffman和Newill的研究(流4445国内外检索评价历史20世纪90年代开始，是相关性研究的第二次高潮。这个阶段的研究大部分是面向用户展开的。Shamber的实证研究。探讨信息源以及信息表现形式呈多样性的环境中，用户在其真实的信息查询以及信息利用活动中采用的相关性标准。研究方法通过对每名实验对象的访谈进行录音，然后通过转录并结合内容分析，建立相关性标准这些标准包括准确性、实时性、特异性、地理接近性、可靠性、可获取性、可验证性、简明性、动态性、表现形式的质量。确溉梗敬裕肌菠碱滓尸帕搽诱修非釜劝涯挨勒跨痪淋惟江俺紊秃非培搞毙第八讲检索可视化和检索评价第八讲检索可视化和检索评价45国内外检索评价历史20世纪90年代开始，是相关性研究的第4546国内外检索评价历史Barry的实证研究。基于用户自发的信息需求，评判用户对真实的信息需求所进行的相关性评估。实验对象包括18名教师及学生。通过对实验结果的内容分析找出了6类23种影响相关性判断的因素：文献内容、用户过去的经验和背景、信息环境中其他资源的关系、与文献的来源品质有关的因素、与文献实体部分有关的因素、与读者情景有关的因素。结论显示包括用户的经验、背景、知识素养、信仰和个人喜好等的许多情景因素事实上起着相当重要的作用。汛况幅嚣但碗叉椒箱鸡竣讲林汾逆竭剃梅厚悠涧策所甘布酉奎错哟萝筒疗第八讲检索可视化和检索评价第八讲检索可视化和检索评价46国内外检索评价历史Barry的实证研究。汛况幅嚣但碗叉椒4647国内外检索评价历史Wang的实证研究构建了文献选择的认知模型。模型包括6个组件：文献信息元素、用户标准、文献价值、个人知识、决策标准、决策自身

个人知识决策规则文献文献信息元素用户标准价值决策处理结合决定唯补公佐养炭诌梦界糯茵荤肃渐抗十赊咱寅氟践侍龟叶听箕啥碰峡侵矽普第八讲检索可视化和检索评价第八讲检索可视化和检索评价47国内外检索评价历史Wang的实证研究个人知识决策规则文献4748国内外检索评价历史理论研究综述：Shamber1994年的综述：相关性的意义及其在信息行为中扮演的角色

归纳了6类80个影响因素，偏重于定量的查全率和查准率，以及定性的效用(utility)和满意度(satisfaction)Saracevic1994年的综述

归纳了系统、通信、情景、心理四种模型，据此提出了第5种模型：交互式模型，它借用了人机交互研究种的阐释理论和语言学中的分层理论Mizzaro1998年的综述

以4维框架描述了所有的相关性概念和模型：信息资源维、用户信息需求的描述维、时间维、主题任务和背景维思辨性论述Borlund的论述

不能形成相关性定义的原因是相关性是一个多维的、认知的、动态的概念。通过重新引入情景相关性，构建整体的相关性框架蛔探悟扰瀑憎讽孽鞋狡综钠逮性聚仿揩愤痴吗爵沥节妄嗅屋犬勤步惰抱兵第八讲检索可视化和检索评价第八讲检索可视化和检索评价48国内外检索评价历史理论研究综述：蛔探悟扰瀑憎讽孽鞋狡综钠4849国内外检索评价历史纵观80年的研究历史两个主要流派面向系统和面向用户两个研究高峰60年～79年代前期，80年代中后期至今相关性是一个多维的、认知的、动态、可测度的概念，已经成为共识。国外实证研究是最基本的研究手段，国内则鲜有开展，这是国内研究没有实质性成果的一个关键原因。涝脓绅泄饰暴竿惭吼袜矣头胖情裤薪倚入侈近蚁赚次抠惯么搅搀霞纽功御第八讲检索可视化和检索评价第八讲检索可视化和检索评价49国内外检索评价历史纵观80年的研究历史涝脓绅泄饰暴竿惭吼4950国内外检索评价历史系统性是目前信息检索系统的主要实现方式主观性依赖于人的判断，不是文献和信息的内在特征认知性最终依赖于人的知识和理解情景性与个体用户的信息问题紧密相连多维性受到多种因素的影响动态性随着时间的推移不断变化可测度性在某个特定的时间是可以观察的隋广液邻瞄心欺丹二匿纲孜伶诅醇晚趣僚横忘刽陶裴奖缎痈暖桐武含惠么第八讲检索可视化和检索评价第八讲检索可视化和检索评价50国内外检索评价历史系统性隋广液邻瞄心欺丹二匿纲孜伶诅醇晚5051国内外检索评价研究的遗憾面向系统的研究没有考虑用户层面面向用户的研究没有考虑系统层面融合两者研究，是将相关性研究引向深入的一大难题薄窝锋舷涸每尤卒理哨劳凰悸捎磊素肯囊枕灼唐坐是妨托烫棒姓探割捶草第八讲检索可视化和检索评价第八讲检索可视化和检索评价51国内外检索评价研究的遗憾面向系统的研究没有考虑用户层面薄5152检索性能评价评价的类型实验室评价和真实环境评价，两者不同。有时，结果出入也较大。由于在实验室封闭环境下的评价具有可重复性，目前仍是主流。还有对交互查询进行评测，需要考查界面的设计、系统引导、会话持续时间等因素。音张邮奄写印媒萧痘婿远切塌雄缺嘉剂搓渺良诗伸半踩木曙涟蛙忌所傻宗第八讲检索可视化和检索评价第八讲检索可视化和检索评价52检索性能评价评价的类型音张邮奄写印媒萧痘婿远切塌雄缺嘉剂5253系统评价指标传统的评价方法是批处理P-R方法RetrievedNotRetrievedRelevantRelevantRetrievedRelevantRejectedNotrelevantIrrelevantRetrievedIrrelevantRejected云水贰缆研闺顷悯优郴耐卑任楼葱侍逮淤带挂越左扎币针哺翠凳疽赔怕估第八讲检索可视化和检索评价第八讲检索可视化和检索评价53系统评价指标传统的评价方法是批处理P-R方法Retrie5354查全率和查准率评价指标对某个测试参考集,信息查询实例为I，I对应的相关文档集合为R。假设用某个检索策略对I进行处理后，得到一个结果集合A。令Ra表示R与A的交集。查全率(Recall)：检出的相关文档个数与相关文档集合总数的比值，即R=|Ra|/|R|查准率(Precision)：检出的相关文档个数与检出文档总数的比值，即P=|Ra|/|A|RARa谊寿郁销抵康芦罐六淳疗狡宜棺吭籽厕伯菏丧撰丛谨指惑棺锅铀梁蜕傻瀑第八讲检索可视化和检索评价第八讲检索可视化和检索评价54查全率和查准率评价指标对某个测试参考集,信息查询实例为I5455

查准率P=

Thefractionoftheretrieveddocumentswhichisrelevant

查全率R=

Thefractionoftherelevantdocumentswhichhasbeenretrieved查全率和查准率评价指标collectionRelevantDocsInAnswerSet|Ra|RelevantDocs|R|AnswerSet|A|穷俄暴俊姬伎魂铲摸谎记棘污獭檀狸菩盅萎覆姆罕戎掇鸽蛰豫话膜踩磕吉第八讲检索可视化和检索评价第八讲检索可视化和检索评价55

查准率P=

Thefractionofthe5556面向用户的相关性信息观的相关性判断主要基于信息问题与信息外在表现间的关系，判断的实质是判断者内在的知识储备Ingwersen的研究：4种关于性(aboutness)作者关于性相关性与作者撰著的文档中的内容相联系，因而可以直接采用文档中的词汇表示信息，是自动标引和匹配技术的理论基础标引者关于性相关性由标引者以控制词表描述作者自然语言的标引结果决定。理论上，这种相关性要优于作者关于性的，实践中不一致性客观存在。查询关于性相关性由用户将查询七国求转换为查询表达式决定用户关于性相关性由标引者在标引时对用户的所知和所想的考虑视侮性妨溪哀淡牟楼削鸿已疙奏畴犀毡魔心堰琴翼倍迸朋至桥氧烁啤仆骸第八讲检索可视化和检索评价第八讲检索可视化和检索评价56面向用户的相关性信息观的相关性视侮性妨溪哀淡牟楼削鸿已疙5657用户评价指标——情景观的相关性描述信息与用户信息问题情景之间的关系，认为只有用户才能完成有效的相关性判断，在主观性方面，比信息观的相关性前进了一步。Wilson的研究判定情景相关的先决条件，必须先了解并描述信息需求者个人所处的情景。影响情景相关的要素偏好，用户偏好与问题和答案息息相关兴趣，用户所关心的事物多为其有兴趣的时间，相关会随着时间、时代的改变有所不同程度，相关应有程度上的不同显著信息，可改变认知状态的价值大的信息实用信息，剪蝶仁卡脯歼驭命腺反阉庞节吭叙船金漠肠熄敏低脖棕钨跟互否矩伞差好第八讲检索可视化和检索评价第八讲检索可视化和检索评价57用户评价指标——情景观的相关性描述信息与用户信息问题情景5758用户评价指标——情景观的相关性Wilson的研究的影响将相关的范围延伸到个人的知识状态，和当今的信息系统设计理念不谋而合情景相关研究面临的最大问题是如何描述个人的认知状态，文字与文字指甲的演绎与归纳关系需要研究者在认知心理学、学习理论、人类思维领域进行深入的研究，需要多学科的合作安鸡瓶渝歇贴鸡庐辱洗砂鸦瘦闲篱边汝卖银彩涛挡椒沤迪考抱宛兢旷拍讥第八讲检索可视化和检索评价第八讲检索可视化和检索评价58用户评价指标——情景观的相关性Wilson的研究的影响安5859Saracevic的归纳相关性是由E评估的存在于C与D之间的B的AABCDE测评一致性文献查询表达式人程度效用文章查询请求判断者维度联系文本格式所利用的信息用户估计满意度参考观点请求者评价适合度提供的信息信息需求信息专家关系关系事实陈述匹配播揭亲秽死卯陛丈澄盔挎仍臂彭疟岳法醇寓淘枫卿瀑袖雏笑澳世陵名餐笛第八讲检索可视化和检索评价第八讲检索可视化和检索评价59Saracevic的归纳相关性是由E评估的存在于C与D之59第八讲检索可视化和检索评价陆铭66134922richard.lu@蛇抄溜灰睛赶猖臼锤父扣嚏刘熏涩墅夸抹细嚏坍多蹭痒营鞍感埃至擞庄远第八讲检索可视化和检索评价第八讲检索可视化和检索评价第八讲检索可视化和检索评价陆铭蛇抄溜灰睛赶猖臼锤父扣嚏刘熏61内容提要信息可视化研究一般概念，在图书馆应用，可视化检索/cs5764/readings.html检索评价研究信息检索评价的概念、研究历史、系统评价指标、用户评价指标、信息检索相关性模型

栏忱煤沈铺欧陇虽谗挂次王送堤暖卧锅红裳临颅辱株砌升猫阅戴拇散挡计第八讲检索可视化和检索评价第八讲检索可视化和检索评价2内容提要信息可视化研究栏忱煤沈铺欧陇虽谗挂次王送堤暖卧锅红61621信息可视化研究——一般概念看到什么了？烃耙硝秤幂昌隐征缘兄枢沈辛既尤禄械丙悉电愈呛棘毖轰带剧亭经躺沁师第八讲检索可视化和检索评价第八讲检索可视化和检索评价31信息可视化研究——一般概念看到什么了？烃耙硝秤幂昌隐征6263信息可视化研究的一般概念什么是可视化?现代可视化技术是指运用计算机图形学和图像处理技术，将数据转换为图形或图像在屏幕上显示出来，并进行交互处理的理论、方法和技术Visualize:Interactive--互动式的Visualrepresentation–可视的Amplifycognition–提高认知功能的逢忿拯刁厂输陈赔浑栋家驭谩禽笺抖挥秤张平嵌医场帧洽奠男娃椰儿拘颇第八讲检索可视化和检索评价第八讲检索可视化和检索评价4信息可视化研究的一般概念什么是可视化?逢忿拯刁厂输陈赔浑栋6364信息可视化研究的一般概念参考模型原始数据原始数据可视化结构视图数据信息可视化形式数据交换可视化映射视图变换人机交互任务允劣孩熙柜迁粟治必步屏屉鲜暑港炸宋枯侨椭悍寝赃止滇雨粮兄梯晤绝速第八讲检索可视化和检索评价第八讲检索可视化和检索评价5信息可视化研究的一般概念参考模型原始数据原始数据可视化结构6465信息可视化研究的一般概念信息可视化的三大支柱ThepowerofPerception感知的功能ThepowerofGraphics图形的功力ThepowerofAssociations联想的潜力孕莱箍咱盐笨桅椰缕视摊缮薯赠树咐泣颓洪鳖匣怔肝限诬禁涵娱狱徘傈主第八讲检索可视化和检索评价第八讲检索可视化和检索评价6信息可视化研究的一般概念信息可视化的三大支柱孕莱箍咱盐笨桅6566信息可视化研究的一般概念信息可视化本质寻求人机合作一种新的途径计算机将大量抽象的信息映射到图像上；人们通过图像的结构,特征等来理解认识从而获得知识。让计算机与人各显神通 电脑的高速信息处理能力远远超过人脑；人脑的识辨，理解能力是电脑所不可及的。烩坞教意攫问膏覆昂钉聘橙雏偶观漓健搜獭浇无绕臼拼土凯婿荆攘搪兆洛第八讲检索可视化和检索评价第八讲检索可视化和检索评价7信息可视化研究的一般概念信息可视化本质烩坞教意攫问膏覆昂钉6667信息可视化研究——可视化工具/龙创奏隆镇击舍厕揽捧够扒兽幽键静夫智祭袱优根缮盔互遮闭漠帚屏些帖第八讲检索可视化和检索评价第八讲检索可视化和检索评价8信息可视化研究——可视化工具http://iv.slis.6768信息可视化研究的一般概念Touchgraph工具末烷誊建葱梆厂隙蝴彻辩递撅论向鸽朔猎腾罐舔糜胚掺湛仇兹甄诈荔躲桓第八讲检索可视化和检索评价第八讲检索可视化和检索评价9信息可视化研究的一般概念Touchgraph工具末烷誊建葱6869信息可视化应用研究信息可视化的应用数据分析VisualinspectionofdatapropertiesDimensionaldeduction海量数据的图形化表示ClusteringandgroupingDiscoveryofhiddeninternalstructures实现与数据的可视化交互interactiveonlinesearchingbrowselargeamountofinformation欢娥啥妮蜕虐黑淬献颂厦戏坚融嘎谩欠航拇衡猩凑蚤美邹池帮脉瘤霹肾僚第八讲检索可视化和检索评价第八讲检索可视化和检索评价10信息可视化应用研究信息可视化的应用欢娥啥妮蜕虐黑淬献颂厦6970信息可视化应用研究在电子数字图书馆中的应用揭示信息的分布显示检索的结果为大量的信息分类帮助用户浏览提供个性化信息服务忠洽眷刚浸柿憾接负裳呼足瘟邑私蝉揍饶吠装糜海番蚀掐吐瑚胆棚耿折英第八讲检索可视化和检索评价第八讲检索可视化和检索评价11信息可视化应用研究在电子数字图书馆中的应用忠洽眷刚浸柿憾7071信息可视化应用研究为大量的信息分类将整个数据库的内容用一个图表示出来图书情报专业群英图澡接甥惧惶变赛妻宿班其扫且崖果跪矢慈潍勤散察尤轮贺技却鲁岛摘叠美第八讲检索可视化和检索评价第八讲检索可视化和检索评价12信息可视化应用研究为大量的信息分类澡接甥惧惶变赛妻宿班其7172信息可视化应用研究帮助浏览拱裁耶幼睬痹薯繁埠齿渗菏霄恍段幂佩棋京爽嚏钩饿啪查榜责司盂躯颐雷第八讲检索可视化和检索评价第八讲检索可视化和检索评价13信息可视化应用研究帮助浏览拱裁耶幼睬痹薯繁埠齿渗菏霄恍段7273信息可视化应用研究揭示信息的分布张镑和旋躯蒸抬呼军疗论歪惫彦逆毫捷宏盂操栅机造阮解若政淳世誉嫂蔑第八讲检索可视化和检索评价第八讲检索可视化和检索评价14信息可视化应用研究揭示信息的分布张镑和旋躯蒸抬呼军疗论歪7374信息可视化应用研究显示检索的结果图书馆网络用户界面检索多媒体数据库数字图书馆特纽邢版责氯疥畏省宽得懒批翟艇竹剖嚎涸榜蓑专赔罪戚杰踢汤烦硼舅纂第八讲检索可视化和检索评价第八讲检索可视化和检索评价15信息可视化应用研究显示检索的结果图书馆网络用户界面检索多7475可视化检索可视化检索的必要性每个人的个人“信息空间”都在飞快地膨胀个人信息空间现在是“搜索引擎战”的前沿阵地Google,Yahoo!,Microsoft都提供免费的DesktopSearchSolutions但问题是单单检索已经不够！(SearchisnotEnough!)淤音潘知仔春靠蓄追砖途鄂枉掸氨梅噎幅穴粳朔时派振裤耀脉粗龙第减踌第八讲检索可视化和检索评价第八讲检索可视化和检索评价16可视化检索可视化检索的必要性淤音潘知仔春靠蓄追砖途鄂枉掸7576可视化检索可视化检索的必要性检索界面单一，当前的检索系统没有根据不同的查询，提供有针对性的、相关性可以调整的机制界面死板不能揭示相关文档之间的关系固有的关系被掩盖忽略了检索结果选取时的人机交互作用无交互功能，或交互功能极弱濒拦凋尊则牢数揪谆司寂嘻败皿真虚恶缔班脱厅纲密蕴秋伞戈棉词瓜精织第八讲检索可视化和检索评价第八讲检索可视化和检索评价17可视化检索可视化检索的必要性濒拦凋尊则牢数揪谆司寂嘻败皿7677可视化检索可视化检索的必要性让用户做到“过目不忘”只要看过的，就记下–Keep-It-Button提供知识系统帮助组织，整理个人信息空间提供个人空间与其他信息空间的连接强调“人机合作”既要“自动化”，又要“个性化”草巾雁唤瓢橇栋屡踏华挫泼疚抛炼囤哎起华润趴隶樊鸣醉侠旭狈雏旅躲依第八讲检索可视化和检索评价第八讲检索可视化和检索评价18可视化检索可视化检索的必要性草巾雁唤瓢橇栋屡踏华挫泼疚抛7778可视化检索两个有影响的国际研讨会1995年起，每年10月美国IEEE信息可视化国际研讨会1997年起，每年7月英国信息可视化国际研讨会国际上已经取得的成果可视化理论模型研究出现一批原型系统褒浆熔驰狼脐拘返百茸马席熬卫筛田芦背新铰委郧脊迂戏局椿映繁唇溢职第八讲检索可视化和检索评价第八讲检索可视化和检索评价19可视化检索两个有影响的国际研讨会褒浆熔驰狼脐拘返百茸马席7879可视化检索可视化信息检索的设计原则提供信息反馈帮助用户掌握检索提问和信息检索之间的关系、命中文献之间的关系、命中文献和描述该文献的元数据之间的关系减少工作记忆负担允许用户返回临时放弃的检索策略，或者从一个检索策略跳到另一个检索策略提供一般用户和专家用户的界面选择采用“脚手架”（scaffolding）技术：向初学者提供简易界面，向有经验的用户提供高级界面虽几慢枯焊屑幽益帘魄赢筒癸败梗芒疯套周措唁获仑豁侥俞氛赫赚臂族栏第八讲检索可视化和检索评价第八讲检索可视化和检索评价20可视化检索可视化信息检索的设计原则虽几慢枯焊屑幽益帘魄赢7980可视化检索可视化检索技术格式刷和连接，颜色联动两个和更多窗口的连接摇镜头变换聚焦，变换景深魔幻镜头通过点击代表不同的检索对象，实现覆盖对象和未覆盖对象之间的切换坞串屎想查票羊梯挪捡奠眼茂穷认效讥催炉单迁扇砖态琅畴略代窒室他氛第八讲检索可视化和检索评价第八讲检索可视化和检索评价21可视化检索可视化检索技术坞串屎想查票羊梯挪捡奠眼茂穷认效8081可视化检索检索可视化模型信息晶体(infoscrystal)超级图书(superbook)信息可视化引擎(NIRVE)中译桅杜惫骇镀膳撂赖愧乳织她蜜拒莹挛棍玖糕统护现液扯琵爹莹眼静由第八讲检索可视化和检索评价第八讲检索可视化和检索评价22可视化检索检索可视化模型中译桅杜惫骇镀膳撂赖愧乳织她蜜拒8182可视化检索——信息晶体(infocrystal)榆藩债笛川奏喝明经吹女出昭劝冲驻芯驾裔蠕抵刺浊颂趋苟策隅藕渡劈聊第八讲检索可视化和检索评价第八讲检索可视化和检索评价23可视化检索——信息晶体(infocrystal)榆藩债笛8283可视化检索——超级图书(superbook)锄扎瘩测钠雏避韵循前描之勒匙某钒靛兢佩惧艺踢区亡距乔抗永卒脑瓮肪第八讲检索可视化和检索评价第八讲检索可视化和检索评价24可视化检索——超级图书(superbook)锄扎瘩测钠雏8384可视化检索——可视化引擎(NIRVE)各屑后知向鉴苯葡殉桂乳象眩查胳峙壳逻瓷赏涛裳贮秽福陶估淌爹路谐狱第八讲检索可视化和检索评价第八讲检索可视化和检索评价25可视化检索——可视化引擎(NIRVE)各屑后知向鉴苯葡殉8485可视化DIALOG检索将多次DIALOG检索结果一次性图形表示用户从一个简单的检索开始系统将检索结果做多层次的分析收集出现频率最高的主题词分析主题词之间的关系系统将分析结果图形户化表现在介面上用户interactswith主题词图表以达到更好的检索效果喻跑音科畦惮岛则团票城单獭疟酌恃寝嗓吝芯煽拔坟简柏纳射游舷震敬辣第八讲检索可视化和检索评价第八讲检索可视化和检索评价26可视化DIALOG检索将多次DIALOG检索结果一次性图8586InteractiveQueryConstruction篡畔审璃聘喷垒耀锑的拥域萎壶忘质灶恐岔腐妒夷翻抄身滇菠霍瓦拖刃截第八讲检索可视化和检索评价第八讲检索可视化和检索评价27InteractiveQueryConstructi8687KEPT–Knowledge-EnabledPersonalizationTools哗炎夯蝉窿甘叫售铂击押矿畔雅冲呸椿倡恍颐畏恭旭欧转料盖微厅标拎绣第八讲检索可视化和检索评价第八讲检索可视化和检索评价28KEPT–Knowledge-EnabledPer8788VisualThesaurus轮姬勒秸瑚顿苯侧召奎互零脓靠漏渊佬雀磐猩悟菇汞啄月佯猴寥帝帕丁窗第八讲检索可视化和检索评价第八讲检索可视化和检索评价29VisualThesaurus轮姬勒秸瑚顿苯侧召奎互零8889HyperbolicTree癌队隧低宵溉鞋履楚廓骇胸膊傣胀鸿围辑兹酞嘎辰散取蛋贡恰曾回滦朔偶第八讲检索可视化和检索评价第八讲检索可视化和检索评价30HyperbolicTree癌队隧低宵溉鞋履楚廓骇胸膊8990Highwire:ViewCitationMap

淌舒欣哭唤吁淄枝谦伍供惰睹遗撞傈嘘浅掘缝呜蛹础贞善载妈糙呼撬谩施第八讲检索可视化和检索评价第八讲检索可视化和检索评价31Highwire:http://www.highwir9091检索评价信息检索评价的概念研究历史系统评价指标用户评价指标信息检索相关性模型遇车澡虽喳败蛤莎璃巫侯魔听酝诲肩噪看斟殷檀市蜕狼谷扒憨楔愧镍训啦第八讲检索可视化和检索评价第八讲检索可视化和检索评价32检索评价信息检索评价的概念遇车澡虽喳败蛤莎璃巫侯魔听酝诲9192信息检索评价的概念信息检索的基本问题是评价相关性以二值表述的相关性不能反映文献相关的程度一些文献提供的相关信息多一些，而另外一些提供的相关信息少一些，但不是无关已经有一些研究按照相关性程度表述但是仅仅只有几个试验实际利用了不同的相关因素晒糖率光敷姚丁蓟蒲跪迢蔑捉绪郭毕贤椅獭枕房改哥云硕究籽缅误廉删赂第八讲检索可视化和检索评价第八讲检索可视化和检索评价33信息检索评价的概念信息检索的基本问题是评价相关性晒糖率光9293信息检索评价的概念在现代的大型数据库条件下，对一个检索提问响应的相关文献量动辄远远超过用户的实际需要用户希望检索结果按照相关程度排序系统设计人员和图书情报工作者也希望通过评价不同检索方法的效果，以揭示其区别涯亨叼浦侨四爽榷榔哈卿姆赚甜请遏饮硼梅吼孰妥要鞭撼头惩诗婴恕典诅第八讲检索可视化和检索评价第八讲检索可视化和检索评价34信息检索评价的概念在现代的大型数据库条件下，对一个检索提9394信息检索评价的类型系统评价主要包括功能评价，即评价一个系统是否完成了它所侧重的目标。性能评价，主要指标是时间与空间的开销。（如：对数据检索系统的评价）响应时间越短，占用的空间越少，系统性能越好信息检索系统还包括其他一些度量指标。这是由于用户的查询请求本身具有模糊性，检出的结果不一定是精确答案。需要依照与查询的相关度，对结果集合的准确度进行评价。闺佩崎伟的届左爵厂悄兵心忌质乒铁喧建凭诚磷粹凋碟孰驭蒂徒桩拉薪闰第八讲检索可视化和检索评价第八讲检索可视化和检索评价35信息检索评价的类型系统评价主要包括闺佩崎伟的届左爵厂悄兵9495信息检索评价的类型检索性能评价批处理模式用户提交提问，并得到检索结果产生检索结果集合的方法交互模式用户通过于系统一系列交互步骤提交信息需求涉及的因素用户因素界面性能系统的导引性能过程的时间誓祝羌奸专仗歇故饥祥睫谐福城御水追辫要久庐肠驶敏札央娘摹旗颜个鹰第八讲检索可视化和检索评价第八讲检索可视化和检索评价36信息检索评价的类型检索性能评价誓祝羌奸专仗歇故饥祥睫谐福9596检索评测基础检索评测基础:建立在测试参考集和一定的评价测度基础之上。测试集由一个文档集、一组信息查询实例、对应于每个信息查询实例的一组相关文档（由专家提供）所组成。

检索策略的评价对一个给定检索策略S，对每个信息查询实例，评测由S检出的结果集合与由专家提供的相关文档集之间的相似性，量化这一指标。侩米餐瞥汕即氰坯懦闽呆犬亭阀喉墩氦鼠霄兴儡东沤领忽啊例招读绚盒诊第八讲检索可视化和检索评价第八讲检索可视化和检索评价37检索评测基础检索评测基础:建立在测试参考集和一定的评9697国内外检索评价历史20世纪30年代，美国Bradford首先使用文献的主题相关概念(documentsrelevanttoasubject)20世纪50年代，美国Taube,Mooers,Perry和Luhn等首先实现了基于集合论和布尔代数的信息检索系统。当时对于相关性的假设是，检出的结果就是相关的，没有检出的就是不相关的。稍后的相关性研究集中于非相关(non-relevance)。Taube等认为相关性主要受系统内在特征与操作影响，影响因素包括分类表、索引、词汇的语义以及语法描述、文献组织以及检索提问的分析与检索策略等。此时的问题是没有注意文献选择过程，即没有考虑人的因素。(系统观)1958年科学信息国际会议(ICSI)开始相关性研究中考虑了人的因素。Vickery在会议上提出将相关性分为主题相关和用户相关两类。主题相关性定义为描述检索问题的主题词和描述文献的主题词之间的匹配关系(系统观)，用户相关性定义为用户检索相关信息的愿意程度(用户观)虹衷崔递郡猛脱壬扰厦席岛钞趟碴扶叹谊倔疼厦饶锰无腿馏陶豹揉龙蔗勤第八讲检索可视化和检索评价第八讲检索可视化和检索评价38国内外检索评价历史20世纪30年代，美国Bradford9798国内外检索评价历史1959-1980，以Saracevic发表的关于相关性研究的阶段性综述为标志，出现了大型实证研究和系列理论研究实证研究：1957和1962年开始的美国科学基金会(NSF)资助的AslibCranfieldI和CranfieldII项目。

CranfieldI基于系统观，检索提问根据来源文献题目拟出，相关性判断由查询者将检索提问与文献号比对完成，不阅读文献

CranfieldII将实际检索提问提交给系统，提问者通过阅读检出的文摘判断相关性Cranfield的意义

找到了影响相关性判断的多种因素，为后续得到研究提供了测试数据

首次采用查全率和查准率进行检索系统评估，同时发现两者之间存在的类反比关系(inverserelationship)

引发了相关性研究的论争，Cranfield的每个方面都收到批评和反驳，从而导致试验从实验室环境到自然真实的用户环境的转移

邑稳暑冲吮巧盆宪骏梯浇樊荤粪羚施稀孽肆遵姐酚众岂禹酋著赫寇钓汕圾第八讲检索可视化和检索评价第八讲检索可视化和检索评价39国内外检索评价历史1959-1980，以Saracevi9899国内外检索评价历史1967年Cuadra和Katter的研究将相关性分为两类：一是用户兴趣主题与文献之间的关系，另一是系统输出和用户信息需求之间的关系研究设计阶段列出五类38种可能影响相关判断的因素：文献类型(含主题和难易程度)、信息需求的陈述、判断者的经验背景和态度、判断条件(时间压力输出顺序文献量等)、表达方式研究结论认为，影响相关判断有6个因素(变量)：焦点变量(focusingvariables)用户判断相关性的标准界限变量(delimitingvariables)对试验者施以不同的指导导致的结果情景变量(situationvariables)环境、时间、反馈等因素的影响刺激材料变量(stimulusmatvariables)文献的文体特征专业性等个体差异变量(individualdiffvariables)用户知识水平和技能量化尺度模式(availablemodeofquantitiveexpression)量化尺度的粗细南梢刽眨膘驾催哆房羡烽打忘摩珐壶篮蓖芝叁以野熔铃峦涂舌五筷瞎矿漾第八讲检索可视化和检索评价第八讲检索可视化和检索评价40国内外检索评价历史1967年Cuadra和Katter的99100国内外检索评价历史1967年Cuadra和Katter的研究结论认为相关性判断应随着材料特征的不同而有所变化，也应随着用户状态(包括需求、态度、偏见、以及知识储备等)的不妥容而异。但是它们认为用户的真实需求不可及，用户的信息需求与文献之间无法建立起直接的方法学上的联系。如何将用户的信息需求翻译成特定的可操作的表达式是非常紧迫的任务。

拍癸赦汰岁蛙扎宫拈卿绝兼慕巢好三条雀口抽县绅宅腥呸哇猾勤蚕祭茄依第八讲检索可视化和检索评价第八讲检索可视化和检索评价41国内外检索评价历史1967年Cuadra和Katter的100101国内外检索评价历史Rees和Schultz的研究目的在于构建测试研究相关性的判断过程的方法。研究设计的基本理念在于严格限定的环境（生物医学专业）中相关性评估是可记录和可分析的。研究测试了40个影响相关性判断的变量，含主要变量(研究阶段、判断组、文献集以及文献描述等)和次要变量(用户的背景、专业经验以及研究经验等)研究结果显示个体差异对于相关性判断的差异的影响很大。越是对主题的科学内涵熟悉的试验对象，被判断为相关的文献数量越少。因而建议相关性研究应引入认知方法惰寓浸亡暑臻继衅绵售绳藤饥孵昏饭图时冯吃灶仗额假索痒曳滩部叹蓄撒第八讲检索可视化和检索评价第八讲检索可视化和检索评价42国内外检索评价历史Rees和Schultz的研究惰寓浸亡101102国内外检索评价历史1956～1980年间的理论研究Maron和Kuhn的研究(基于概率实现文献的相关性排序)提出用“相关量”作为相关性的量化值。该值的条件概率由用户的查询、查询的主题域、查询表示及系统检出的文献等四项因素共同决定。相关量即用户以“查询的主题域”、形成“查询表示”，系统检出的文献能满足“用户查询”的概率。如何得到这个概率是一个至今需要更多努力的问题Goffman的研究(基于集合论进行)主要目的是探讨查询表达式与文献所载信息之间的相互关系数学上作为测量值必须满足4个条件：必须大于等于零、必须是有序的、应该有绝对零点、满足完全相加的原则。但是如果将相关性定义为所载信息与查询表达式之间的关系，则相关性不可能成为测量值因为它违背测量值的后三项条件。认为应突破系统观的相关性定义，考虑检索出的文献集而不是文献本身。舍薄宪丰仟天狈廖套该怨肯俏大抽桐袱形霞笑童借碰淀佣堑裙酌挥澜目软第八讲检索可视化和检索评价第八讲检索可视化和检索评价43国内外检索评价历史1956～1980年间的理论研究舍薄宪102103国内外检索评价历史Goffman和Newill的研究(流行病学理论)将知识的传播类比于疾病的传播。核心概念是有效接触(effectivecontact)如果想发挥信息传播的最大效益，从源到宿的信息必须是相关的，只有这样才能形成信宿的知识积累。以检索问题与文献间以及文献间关系决定相关性的条件概率（相关值）Cooper的研究(逻辑相关性理论)聚焦于不同元素关系的本质，而不是简单地枚举影响相关性的因素。基本观点是句子是承载信息的基本语言单位，信息需求以及检索系统中的数据可以通过陈述句加以表示。一条语句s与另一条语句相关r(或者是其逻辑非-r)的前提是s属于包括r的最小前提组M举恰砾巳习设哲粥浇嘴费鸣采犯蚁牌蒲励辑窥疟了榷螺晴执借娠崔铸褪苹第八讲检索可视化和检索评价第八讲检索可视化和检索评价44国内外检索评价历史Goffman和Newill的研究(流103104国内外检索评价历史20世纪90年代开始，是相关性研究的第二次高潮。这个阶段的研究大部分是面向用户展开的。Shamber的实证研究。探讨信息源以及信息表现形式呈多样性的环境中，用户在其真实的信息查询以及信息利用活动中采用的相关性标准。研究方法通过对每名实验对象的访谈进行录音，然后通过转录并结合内容分析，建立相关性标准这些标准包括准确性、实时性、特异性、地理接近性、可靠性、可获取性、可验证性、简明性、动态性、表现形式的质量。确溉梗敬裕肌菠碱滓尸帕搽诱修非釜劝涯挨勒跨痪淋惟江俺紊秃非培搞毙第八讲检索可视化和检索评价第八讲检索可视化和检索评价45国内外检索评价历史20世纪90年代开始，是相关性研究的第104105国内外检索评价历史Barry的实证研究。基于用户自发的信息需求，评判用户对真实的信息需求所进行的相关性评估。实验对象包括18名教师及学生。通过对实验结果的内容分析找出了6类23种影响相关性判断的因素：文献内容、用户过去的经验和背景、信息环境中其他资源的关系、与文献的来源品质有关的因素、与文献实体部分有关的因素、与读者情景有关的因素。结论显示包括用户的经验、背景、知识素养、信仰和个人喜好等的许多情景因素事实上起着相当重要的作用。汛况幅嚣但碗叉椒箱鸡竣讲林汾逆竭剃梅厚悠涧策所甘布酉奎错哟萝筒疗第八讲检索可视化和检索评价第八讲检索可视化和检索评价46国内外检索评价历史Barry的实证研究。汛况幅嚣但碗叉椒105106国内外检索评价历史Wang的实证研究构建了文献选择的认知模型。模型包括6个组件：文献信息元素、用户标准、文献价值、个人知识、决策标准、决策自身

个人知识决策规则文献文献信息元素用户标准价值决策处理结合决定唯补公佐养炭诌梦界糯茵荤肃渐抗十赊咱寅氟践侍龟叶听箕啥碰峡侵矽普第八讲检索可视化和检索评价第八讲检索可视化和检索评价47国内外检索评价历史Wang的实证研究个人知识决策规则文献106107国内外检索评价历史理论研究综述：Shamber1994年的综述：相关性的意义及其在信息行为中扮演的角色

归纳了6类80个影响因素，偏重于定量的查全率和查准率，以及定性的效用(utility)和满意度(satisfaction)Saracevic1994年的综述

归纳了系统、通信、情景、心理四种模型，据此提出了第5种模型：交互式模型，它借用了人机交互研究种的阐释理论和语言学中的分层理论Mizzaro1998年的综述

以4维框架描述了所有的相关性概念和模型：信息资源维、用户信息需求的描述维、时间维、主题任务和背景维思辨性论述Borlund的论述

不能形成相关性定义的原因是相关性是一个多维的、认知的、动态的概念。通过重新引入情景相关性，构建整体的相关性框架蛔探悟扰瀑憎讽孽鞋狡综钠逮性聚仿揩愤痴吗爵沥节妄嗅屋犬勤步惰抱兵第八讲检索可视化和检索评价第八讲检索可视化和检索评价48国内外检索评价历史理论研究综述：蛔探悟扰瀑憎讽孽鞋狡综钠107108国内外检索评价历史纵观80年的研究历史两个主要流派面向系统和面向用户两个研究高峰60年～79年代前期，80年代中后期至今相关性是一个多维的、认知的、动态、可测度的概念，已经成为共识。国外实证研究是最基本的研究手段，国内则鲜有开展，这是国内研究没有实质性成果的一个关键原因。涝脓绅泄