信息存储与检索第章

第七章人工智能与自然语言检索本章目录第一节引言第二节人工智能技术第三节智能检索第四节自然语言检索第五节跨语言检索

信息存储与检索》第一节引言人工智能技术在信息检索领域的应用，使其检索系统的智能化水平得到了显著提高。以自然语言理解技术为基础的信息检索系统将把信息检索从目前基于关键词层面提高到基于知识层面，对知识有一定的理解与处理能力。信息存储与检索》第二节人工智能技术7.2.1专家系统17.2.2数据挖掘27.2.3知识发现337.2.4信息抽取与知识抽取4信息存储与检索》7.2.1专家系统

（一）专家系统的特征（1）具备某个应用领域的专家级知识；（2）能模拟专家的思维；（3）能达到专家级的解题水平。信息存储与检索》7.2.1专家系统（二）专家系统的工作原理专家系统的工作方式可简单地归结为：运用知识，进行推理。专家系统的组成部分包括知识库、推理机、知识获取、人机接口、数据库和解释机构。信息存储与检索》

数据挖掘

（一）数据挖掘的含义与标准数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。目前，数据挖掘的标准化包括以下三个标准：CRISP-DM；PMML；OLEDBForDM。信息存储与检索》

数据挖掘（二）数据挖掘的功能自动预测趋势和行为。关联分析。聚类。概念描述偏差检测信息存储与检索》

数据挖掘（三）数据挖掘的主要技术决策树法，输出结果容易理解，实用效果好，影响也较大。神经网络法，更适合用于非线性数据和含噪声的数据，在市场数据分析和建模方面有广泛的应用。遗传算法，适合于聚类分析，它简单而且优化的效果好。统计分析方法是利用统计学、概率论的原理对数据库中的信息进行统计分析，从而找出它们之间的关系和规律。信息存储与检索》数据乖挖掘粗集且方法氧，适宿合于好不精逢确、端不确俭定、煤不完嘴全的岗信息命分类厚和知摧识获厌取。可视坦化方盆法，拥是一沃种辅调助方扬法，伞它用瞧比较祖直观仪的图瓦形图闪表方争式来再表现岛挖掘侨出来扮的模进式，组大大错拓宽爆了数朵据的晴表达蛋和理汉解力街，使帝用户却更加录了解画挖掘铜出的违数据役。信息却存储控与检月索》7.笨2.羊3知识秩发现（一谦）知根识发隐现的址定义知识堵发现洞是从程大量锹数据竭集中藏辨识累出有乡丰效的泥、新绢颖的牢、潜肾在有贿用的纪、并绸可被骄理解食的模愚式的再高级屈处理鲜过程军。信息村存储庭与检怎索》7.膛2.归3知识炼发现（二励）知管识发豆现的埋过程知识获发现驳过程执可以轧归纳骑为三奥个步茶骤：勤数据落准备虎、数牌据挖侄掘、核结果戚解释乓和评劣价。信息银存储耕与检盼索》7.懒2.率3知识忆发现（三异）知貌识发办现平身台SP阳SS为用渗户提睛供揭圣示客雪户关绵系、揭预测求客户释行为俊的解备决方冶案，火并把捧客户豆关系矿管理凉和商唤业智记能有春机的蝴结合狼在一泳起，山建立慌与客皮户之俩间的崖互动朽关系朋。In些te您ll质ig优en锤t喘Mi爹ne什r具有李典型壮数据主集自远动生而成、升关联渗发现税、序仿列规它律发槐现、著概念据性分恢类和痒可视蚁化显膛示等暑功能贞。Cl术em差en赏ti译ne提供往了一趣个可膨视化繁的快切速建标立模缎型的砌环境肃。它宅由数羽据获子取、凶探查依、整帝理、揪建模访和报馅告等忌部分维组成袜。信息歪存储料与检博索》7.匠2.盼3知识驳发现MS淹Mi约ne融r是一闭种多是策略淋知识开发现齐平台俗，能您够提排供快躲捷有弯效的防数据蚊挖掘袍解决增方案粘，提本供多陵种知屡识发衔现方牲法。SA耻S斤En寄te宫rp街ri秃se市M捆in创er通过只收集库分析绵各种啊统计亡资料胀和客历户购择买模设式，霸帮助吹企业凭发现股业务准的趋棵势，备解释判已知杠的事献实，逼预测闹未来兄的结傻果，阶并识问别出铃完成股任务陪所需扯的关齐键因拉素，席以实殃现增幕加收谊人、皂降低引成本浙的目丘标。信息尖存储且与检恳索》信息阁抽取顽与知朗识抽走取（一初）信益息抽裤取信息昼抽取寺是从掘一段陕文本厚中抽疑取信岔息，傲并将寒其形脑成结等构化叹、规云范化深的数暂据尖。信息善抽取下和信煮息检羞索有炎本质湖的区呈别：茄信息纳检索下的目萍的是躲根用吃户的立查询猜请求驳从文滤档库同中找离出相裁关的繁文档坛，用政户必泻须从疑找到咐的文况档中剂提取芦自己们所要吧的信爬息；获而信欢息抽们取直傅接从气文档当中取照出相辫关信榴息点播，不尿需要净用户烂对文蹦档做荷进一羞步分健析。我这两网种技缓术是朗互补淹的，气若结候合起统来可凯以为银文本父处理盈提供谢强大宁的工投具。信息正存储鞭与检扁索》信息跑抽取灾与知称识抽扰取（二扫）信稳息抽与取技划术的鹿评测活指标抽全没率可誉粗略义地看钱成是蚂测量预正确辟抽取遍的信垂息比罩例，租而抽例准率轨用来拴测量晋抽出魔的信换息中击有多蛋少是梨正确接的。助计算驴公式再如下雕：R=抽出瓦的正致确信唉息点读数/所有醋正确扁的信沸息点锡数P=抽出裁的正楚确信价息点拼数/所有陡抽出筝的信臣息点滤数信息诱存储偏与检把索》信息逼抽取估与知拍识抽口取（三拜）知观识抽斥取知识励抽取猾是从拔现有私的信课息（广尤其滴是非煤结构脾化的阳文本劳）中谜抽取吹结构贱化的敌、上叮下文氏依赖匙的知丧识的锈过程糠。知识螺抽取严起源荐于传宽统信超息抽浓取而李又有明别于轨信息央抽取欣：传稠统的扎信息帖抽取跌并不醉试图服从内背容上遗全面珍地、存深层在次地喉理解作文档控，而羽知识心抽取氧则建即立在燥信息杰抽取初的基豆础之箩上，粥使用观了语具义网观技术吹，从饮知识治表示绒和推帮理的荡角度旨来实视现知园识的督自动(半自殿动)抽取驳。信息两存储平与检注索》7.3.1智能检索接口17.3.2智能检索技术27.忍3.矮3智能检索湖系统千与应连用3第三殃节杨智列能检辩索信息甲存储系与检瞒索》7.焦3.叔1智能发检索拆接口智能躺检索秩接口富用于隶完成尼智能阵检索戏系统零的信萄息输躲入输前出工辆作，预它是壳系统摇和用栏户交谜流的沉界面瓦，它梅能理恢解、程分析蛋用户押的自亡然语倾言提片问，绝并产止生适星合用膛户的浴结果维，还丝式具有肢解释迷功能尿，对策自己残的行跃为做散出解甲释。智能醒检索险接口迈能向县用户级提供胖友好绑的界忌面，竖完成各各种判交互笔活动纠；检面验用辣户输叨入和眯系统绪输出总的正衰确性准、一滨致性共；控黄制程莫序流蛛程，旷对用界户输衣入作贼出快哭速反悔应或贫者控济制其登它设插备正葡确有扮效地忙工作焦。信息董存储奇与检英索》7.泼3.偶2智能啊检索沟技术（一筒）自渴然语街言处器理技腐术信息号检索注中常仿常使香用到关的自辟然语痛言处锣理技拖术包并括去猪除禁惜用词絮，取裹词根屈，词慎性标堪注，趴词义店消歧鲁，句必法分辛析，联命名棚实体隐识别闯，指城代消如解等老。（二部）基誉于概裕念的别语义弦智能愤检索拨技术系统播基于况对概特念内准涵的鸭理解趴以及吃用户拦提交午的关割键词漆所表钥达的因概念伶作为航搜索否依据沿，能学同时文对该稳词的国同义猜词、绢近义惯词、增广义甲词、洋狭义亮词进帜行检粘索。（三酒）基承于Ag唱en贫t的智泳能检链索技预术基于削多Ag病en国t的智吨能检伐索体倡系主将要包宰括Us粱er淋A功ge杠nt、Sp烘id幸er贩A汤ge共nt和Co蛙ll说ec理to倦r忘Ag肿en竿t。信息伶存储边与检耕索》7.着3.透3智能轨检索印系统垦与应逆用（一装）智凤能检念索系碑统的幸组成抵和功许能智能科信息直检索保系统望由知俘识库汤、文海本处鸽理和纸智能项接口住三部钞分组刚成橡。智能档检索萝系统途一般花具有倚以下您功能最：（1）能戴理解讲自然袍语言代，允湾许用爽自然智语言剃提出梦各种昨询问仁。（2）具贵有推棵理能筋力，店能根蚁据存靠储的浑事实御，演座绎出歪所需誉要的畏答案夺。（3）系巡寿统拥且有一走定常见识性努知识百，以卡补充注学科疏范围械的专纱业知扯识。信息多存储舌与检舞索》7.渠3.虏3智能略检索垫系统佳与应第用（二扰）几采种典毒型的秀智能帝信息及检索斤系统Sa伟vv恒yS双ea博rc费h系统宇是一贯个应择用了型元搜辜索技旷术的壤中介输搜索烤系统炮，它餐采用腰基于斑经验兰学习仇的优包化选丧择搜世索引沟擎方冶法，做具有咸智能呈地选香择多颜个远砍程搜展索引朽擎以喜及与宏其交血互的玩能力兵。Ex勾ci仓te应用阵了检荒索词畜“智酿能概疼念提沃取”半技术倍，对阿用户爪输入疗的关宋键字蚕进行认扩展暗。一些蜓用户畜个性元化信身息检案索系优统,如We装bW兔at酱ch稼er、Sh肌oP避Bo擦t、Fa与b等，铺都是市一些恰基于Ag戒en仗t的智按能化禁的程顿序，蓬主要命通过惊学习转用户彼的历率史关原联信辟息，筋在线看引导呈用户次检索鲜感兴榨趣的印信息知。信息隔存储希与检榆索》7.势4.虚2基于愚语法翠分析两的自姑然语盯言检卡索2第四裕节滩自互然语持言检搅索7.4.1自然语言理解

17.梢4.投3基于果语义慰分析券的自美然语角言检牺索337.劣4.徐4基于中本体闭的自当然语祝言检闲索4信息麻存储匪与检各索》7.俊4.独1自然竞语言水理解（一蠢）自举然语改言理商解的掀原理自然防语言母理解樱分为票语音仓理解旦和书防面理俗解两或个方棚面予。语音鞭理解完是指扔用口最语语鹊音输公入，富使计我算机害“听钟懂”拢语音虾信号瓜，用码文字货或语思音合烛成输油出应贿答斯。书面陆理解屿是指沫用文暂字输麻入，详使计够算机侧“看酱懂”租文字经符号杯，也渠用文穗字输彼出应饥答抄。信息盯存储豆与检压索》7.俯4.刃1自然御语言膛理解（二鞠）自勇然语很言理丸解的谨层次（1）语壁音学枪层次荣，对勒语言泻声音少的识赏别、仰理解病和合蓝成份。（2）词乒形学扎层次盼，对烘各种辜词形责和词谢的可功识别汤部分间的处骆理。（3）词抓汇学黄层次动，重休点在线于对付词操刊作和厚词汇纯系统悔的控宅制。（4）句摩法层蚂次，世它与疲语言内结构葱单元露的鉴揪别有织关肃。（5）语描义层惯次，倚对自令然语嫩言文主本意挡义的墙识别倾、理咏解和凯表示柄。（6）语奥用学境层次扰，涉盖及上行下文聚和语悔言交建际环谷境以绢及背烘景意使义和屈联想敲意义扫的语取义分碰析。信息仿存储妈与检妥索》7.叫4.轿1自然馆语言均理解（三咐）自帖然语泪言理爽解在娃信息喂检索续中的祥应用自然量语言符理解兔在信断息检鸭索中触的应纤用可捎以体剖现在丽一个友或多阴个语东言处尽理层宽次上级，既捕可以苹仅应吵用于沉查询渔，也践可以炼同时虏应用脾于查劈燕询和争被检维索的廉文本改。由把于语视言的做各个汤层次屠都包叹含了例一定锻的含喝义，归能够夫传递封一定颂的信创息，伪每个惯层次钥上的严自然泛语言漂理解捐都能黑对提梯高检郑索效塔率有躁一定宅程度升的帮模助。信息畅存储稍与检培索》7.絮4.喇2基于似语法太分析核的自倾然语币言检陵索（一凶）基住于词值法分如析的龄自然筋语言荡检索词法仇分析猎方法旱对文泉本、坑网页虽首先竟进行勿词语镰切分垮，然删后通扛过词琴频统遵计和详词出创现位搞置的奶判断膝，在达文本射和网侄页中孟提取较主题馋词和破概念拜词，径作为油索引猎。同臂样从励用户咐提问胞中筛热选出点有检狼索意表义的李一个抢或多坚个词要单元情，各旬个单剪元词些之间珠构建何相应烦的逻板辑关味系。基于斗词法紫分析阶的方哨法主隐要包爱括加赶权统简计法壁、N元法耗、统牌计学膝习方肉法。信息参存储受与检嫌索》7.兼4.纹2基于喂语法是分析候的自域然语典言检栋索（二脉）自棕然语瞎言检桂索中误的句页法分动析句法佳分析商是对郑句子刊和短较语的治结构览进行含分析恳。句偿法分借析的评方法授有很朗多，务有短剩语结势构语伟法、糖格语包法、团扩充佣转移找网络讽和功怪能语直法等坊。句煤法处此理，阵即根转据文室字的般语法你知识核，通谢过对吊句型左结构差的分宴析，农自动授抽取贿复杂摇的标项识单宫元来卵代替冬由统权计方归法得而到的翠关键睁词进椅行标舍引。信息使存储登与检沟索》7.递4.闯3基于瓶语义认分析郑的自惩然语选言检敏索（一欺）语瓣义分摩析理滨论语义性分析铺理论昂涉及肚到语震义分溪析方掠法的踪蝶语义熟关系在类型则和语摔义关的系的撕形式付化表絮示等话内容雷。语予义关经系类榨型是占指某钟种标席准归茄纳句灯子内领各部温分之网间的项语义酬关系舱共性生，语地义关唤系的芝形式察化表掌示是舒指从令各种冶句子骡的具巷体语主义中脸抽象歇概括钞出共浆同的复语义漂关系蛮适用抹的符秀号表卫示。信息轿存储榜与检笨索》7.欠4.假3基于锈语义决分析沾的自弃然语号言检进索（二爬）自轮然语封言检系索中坚的语尖义分盖析在自鱼然语弓言检贡索中喝，语牢义分辆析是经在词悔法分考析和嫁句法株分析组的基曾础上遵进行口的，富这三正个分佣析步除骤的竿组合改方式鸡有语版义解费释方抛式、协语义香分析掀方式薪、句望法语嗓义混梳合方务式和左语义勿驱动佣方式支。信息族存储告与检砍索》7.令4.阴4基于堆本体衫的自婶然语圆言检偿索（一被）本霉体在机自然柄语言懂检索差中的传作用本体烦在自祝然语动言检陷索系港统中常的作程用体政现在让三个浮方面蜻：改善兼对信应息源软的处韵理；优化趁用户骨界面逼；辅助李自然县语言来处理谋过程辱。信息尘存储制与检幻玉索》7.眯4.漆4基于铁本体供的自辣然语趴言检息索（二宽）基月于本热体的姿自然茫语言导检索捎实现遵方法基于想本体录的自后然语宽言检庙索系讲统整侦体上贪由本框体管闻理模读块、互问题编处理炭模块弃、文方本预谨处理醋模块睁、信由息检君索模赴块、寺库文愉件管禾理模尖块组吐成，桃实现井算法彼概括骂如下彼：（1）在卵领域究专家我的帮宝助下恩，建案立相全关领哄域的号本体康。（2）参渠照已猜建立内的本班体，献把收平集来辈的数窗据按屈规定投的格勿式存订储在吼元数患据库吃中。（3）按尤照本榜体把出查询佩请求梅转换乔成规排定的弹格式喝，从小元数煮据库悲中匹啄配出亚符合屠条件老的数艇据集庆合。（4）检纹索的辛结果旗经过脸定制熟处理残后，践返回绪给用隆户。信息砌存储劣与检陪索》7.折5.刘2跨语言存检索疤中的笋语言架资源27.5.1跨语言检索实现模式17.文5.隶3跨语经言检古索的旱关键香技术337.葬5.恨4提问糕式翻意译的并几种椅方法4第五捕节堂跨繁语言罩检索信息爽存储五与检踩索》7.量5.鞋1跨语容言检录索实恋现模艳式（一唇）提垫问式脆翻译烦方法在信埋息检疗索之狗前,将提陕问式伶的语铺种转疗化翻偶译成够所要担检索暗信息五的信槽息语白种。（二盒）文墓献翻闹译方楚法不对够提问爸式进茂行翻英译，挺而是盗把数咽据库荣中用忽目标你语言始描述男的文芒献翻示译成另与提正问描春述相制一致割的源滴语言鸦形式（三挑）提否问式—文献浮翻译铅方法首先揪将源钳语言注提问尘式翻魔译成层目标绿语言灾提问洲式，断然后节与目就标语别言描处述的肃信息熟库进妹行匹碌配，绘再把沾检索热结果供的全肯部或尽部分岩翻译谋成源碌语言生描述岩的信姿息。信息位存储队与检雾索》7.苹5.洪1跨语岸言检滥索实萍现模欺式（四柜）中钢间翻勿译方红法将源赠语言岩翻译钓成中令间语个言（催可以屯是一化种或回多种哈），跪然后注再将考中间炸语言菌翻译宇成目锅标语兔言（重利用服多种沈中间扯语言芝时需投要合烛并）酱。（五蚊）不孤翻译港方法不需走要词渣典、倍词表膀和机市器翻缓译系袭统,也不前存在任翻译零过程县中消大除歧俘义问据题,具有哀很高鞋的灵毙活性摸和适僵应性信息细存储谅与检先索》7.但5.拔1跨语垫言检寻索实悦现模冬式（六会）专重有名知词音非译法音译术方法歼根据凡处理计的方群向可晌以区脸分成永正向落音译地与反理向音次译。（七栽）基佳于本偶体的刮转换踏方法基于烦本体定的模辉型主明要分让为三灿个部宫分：霜基于辛字典梯的翻遇译模爷块、枪基于悠本体瓶的语窜义模胆块以足及单谜一语坐种的茶信息偏检索