信息系统安全第章

第七章人工智能与自然语言检索本章目录第一节引言第二节人工智能技术第三节智能检索第四节自然语言检索第五节跨语言检索

信息存储与检索》第一节引言人工智能技术在信息检索领域的应用，使其检索系统的智能化水平得到了显著提高。以自然语言理解技术为基础的信息检索系统将把信息检索从目前基于关键词层面提高到基于知识层面，对知识有一定的理解与处理能力。信息存储与检索》第二节人工智能技术7.2.1专家系统17.2.2数据挖掘27.2.3知识发现337.2.4信息抽取与知识抽取4信息存储与检索》7.2.1专家系统

（一）专家系统的特征（1）具备某个应用领域的专家级知识；（2）能模拟专家的思维；（3）能达到专家级的解题水平。信息存储与检索》7.2.1专家系统专家系统与传统的计算机程序的区别（1）编程思想不同专家系统=知识库+推理机传统程序=数据+算法（2）解释功能不同（3）求解能力不同（4）处理对象不同（5）求解问题的方式不同信息存储与检索》7.2.1专家系统（二）专家系统的工作原理专家系统的工作方式运用知识，进行推理专家系统的组成部分知识库推理机知识获取人机接口数据库解释机构信息存储与检索》

数据挖掘

（一）数据挖掘的含义与标准数据挖掘是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的、人们事先不知道的、但又是潜在有用的信息和知识的过程。目前，数据挖掘的标准化包括以下三个标准：CRISP-DM；PMML；OLEDBForDM。信息存储与检索》

数据挖掘（二）数据挖掘的功能自动预测趋势和行为。关联分析。聚类。概念描述偏差检测信息存储与检索》数据龟挖掘（三侮）数摆据挖老掘的郑主要来技术决策漫树法钳，输秆出结锐果容赌易理萌解，逢实用哈效果市好，桶影响蝴也较铃大。神经昌网络促法，汗更适西合用乏于非拔线性累数据贿和含刘噪声碍的数偶据，贯在市赤场数既据分米析和木建模沸方面每有广菊泛的悔应用辉。遗传孩算法皱，适摸合于贩聚类含分析糠，它辫简单鼓而且禾优化泰的效章果好估。统计迹分析粗方法族是利殊用统禾计学分、概奥率论掀的原阅理对自数据沉库中坟的信盲息进霸行统燥计分厕析，剧从而雹找出邻它们仰之间障的关知系和祖规律辉。信息骡存储拾与检蒸索》数据那挖掘粗集势方法补，适纲合于杯不精专确、懒不确银定、疾不完读全的蔬信息筒分类眯和知落识获皆取。可视疼化方煎法，吩是一隶种辅疮助方甘法，择它用往比较凭直观蛮的图搁形图来表方作式来窄表现汉挖掘赠出来灿的模迟式，酱大大颂拓宽勿了数终据的昆表达片和理宴解力团，使黎用户色更加持了解旧挖掘头出的辱数据惜。信息舟存储滨与检将索》7.钳2.希3知识汤发现（一味）知草识发导现的跳定义知识辫发现责是从请大量清数据吉集中库辨识汁出有声效的剧、新闹颖的矮、潜阀在有桐用的党、并希可被到理解帝的模使式的休高级厉处理驼过程艰。信息网存储似与检绕索》7.灶2.畏3知识戴发现（二倦）知缸识发糟现的蔬过程知识不发现拘过程化可以杜归纳臂为三适个步珍骤：负数据肿准备维、数惧据挖萍掘、齐结果台解释馆和评衫价。信息葛存储妄与检勺索》7.既2.重3知识怜发现（三谋）知遇识发疑现平菌台SP遇SS为用允户提讨供揭视示客幸户关艘系、德预测楚客户涂行为遗的解武决方钞案，惕并把绝客户锋关系逢管理厕和商累业智它能有武机的揉结合健在一侦起，洪建立宴与客六户之胸间的括互动朝关系听。In喜te亦ll脑ig言en垄t收Mi荡ne鬼r具有条典型骡数据姑集自纺动生仔成、捉关联画发现设、序减列规奇律发册现、块概念棚性分茫类和狸可视洽化显唱示等润功能颠。Cl瞒em才en田ti姨ne提供旁了一茧个可悉视化夏的快旋速建慰立模付型的刚环境醉。它育由数茂据获淘取、卷探查软、整秤理、信建模灿和报依告等布部分袄组成恩。信息患存储目与检芳索》7.永2.萍3知识地发现MS元Mi撑ne劲r是一展种多虎策略夏知识米发现纱平台齿，能畏够提钉供快轮捷有拥效的蛛数据齐挖掘羡解决叮方案连，提配供多有种知桶识发序现方野法。SA货S衰En秘te焦rp津ri端se售M零in译er通过少收集轰分析诵各种械统计多资料炎和客石户购备买模墙式，咸帮助蚕企业赤发现裂业务挡的趋切势，达解释车已知还的事俱实，惧预测讨未来清的结闹果，霜并识概别出塌完成稀任务犹所需近的关造键因豆素，霜以实湿现增脑加收真人、显降低糟成本助的目说标。信息介存储馆与检穷索》信息僻抽取呼与知却识抽勿取（一栽）信瓦息抽做取信息谈抽取领是从休一段跨文本葡中抽驱取信痒息，殿并将呀其形工成结狸构化条、规篮范化龟的数汗据嘴。信息芒抽取哑和信侧息检普索有万本质扬的区盛别：滋信息待检索文的目息的是麦根用颂户的被查询自请求火从文陕档库庄中找笔出相摸关的妇文档绿，用学户必察须从棚找到营的文差档中啦提取朋自己私所要茫的信朵息；孤而信骆息抽观取直中接从迟文档滤中取检出相片关信宿息点救，不疲需要董用户珍对文效档做横进一惑步分郑析。混这两证种技陵术是谱互补妥的，高若结岩合起队来可织以为今文本纹处理晌提供警强大茶的工吵具。信息见存储烘与检尽索》信息议抽取忠与知屠识抽求取（二崖）信带息抽涝取技仿术的白评测豆指标抽全召率可敏粗略酿地看室成是甩测量拜正确翁抽取价的信嘉息比立例，校而抽突准率妻用来写测量共抽出隶的信饭息中女有多地少是饰正确监的。废计算能公式蚀如下会：R=抽出扭的正符确信辟息点殖数/所有两正确第的信迹息点肠数P=抽出乒的正腰确信速息点致数/所有菜抽出息的信雀息点凯数两者拿的取捷值在0和1之间谦，通仙常两径者是严反比铲关系F值评玩价方袋法：式中馅，β是一珠个预拼设值疯，决泥定对P侧重肤还是锈对R侧重嫂，通朴常设懒定为1，这帅样用F这个财数值摊就可济反映火系统田的质欣量。信息锈存储江与检思索》信息甘抽取抚与知鼠识抽闹取（三集）知携识抽指取知识历抽取储是从财现有增的信医息（紫尤其息是非盖结构笼化的榜文本恭）中茄抽取录结构魔化的镰、上农下文肆依赖某的知剃识的超过程限。知识教抽取摔起源才于传那统信遭息抽妹取而时又有恩别于童信息候抽取棋：传墓统的质信息棋抽取扬并不足试图幕从内暖容上馋全面达地、答深层标次地颜理解损文档纷，而命知识疼抽取活则建筛立在转信息熊抽取侧的基朽础之垮上，草使用宣了语另义网乖技术巡寿，从着知识筒表示贯和推向理的谱角度性来实私现知虎识的薄自动(半自掏动)抽取松。信息扯存储鹿与检缺索》7.3.1智能检索接口17.3.2智能检索技术27.誉3.衣3智能检索披系统层与应就用3第三遍节际智留能检叔索信息增存储俊与检冷索》7.汽3.痰1智能倚检索甘接口智能吧检索锦接口储用于游完成壤智能换检索绝系统危的信筋息输等入输换出工寸作，撒它是酱系统铸和用多户交弃流的夜界面斧，它竞能理弱解、扒分析锡用户墙的自士然语究言提行问，吸并产嘴生适面合用启户的仆结果白，还盲具有阅解释稍功能脊，对被自己肯的行彻为做怒出解忘释。智能阅检索填接口贞能向叫用户荐提供痕友好哗的界凯面，盐完成嘱各种敞交互散活动壮；检符验用砖户输亿入和释系统酷输出侨的正义确性辽、一洗致性南；控计制程浑序流绢程，穗对用平户输榜入作钓出快硬速反米应或锄者控棋制其郑它设皂备正趟确有驱效地答工作腿。信息怀存储想与检献索》7.境3.议1智能薪检索充接口设计苗智能尤检索板接口好应考逮虑的予问题9条可草用性捆原则人机欣对话候简明类、自迈然，旅用户规用自巧然语传言检养索，源检索刊工具胆可以仁识别奴自然丙语言粱并作旱出反酿馈使用廉用户休的语赏言，专可以百跨语浓言检眉索应具绣备自慈学习标功能沉，自柄动识程别用麻户的闯兴趣堆并根仪据用纲户使洋用习州惯自鼻动修宜正、捏完善逮用户酒兴趣敢，在怎搜索跟时根袍据用现户兴窝趣进旷行优仰化排夕序，逝形成何符合检人性器化要果求的谅搜索农结果矛，减耳轻用绢户的吩记忆匆负担促进腐一致穴性的穴实现提供缘瑞返回遭信息提供标清楚赏的出祝口标替记对于廉用户观经常替使用榜的动段作提拼供快备捷键秀，方挠便用盟户操狼作提供超有效巷的出蜜错处尘理信碍息能够约防止半出错考虑眼人和膨机器楚两个驻方面凑的因贩素交叉洪树索晴引和事对象抗的分厦解匹崇配与嫁综合信息弱存储寒与检林索》7.色3.米2智能怪检索教技术（一梨）自被然语爬言处标理技寸术信息港检索居中常袍常使穗用到侦的自织然语比言处朵理技理术包最括（1）去扎除禁薄用词（2）分砌词（影如农追作物辩）（3）取虑词根未（形艰如or酿g、Eu很ro临pe）（4）短古语识江别（5）命衡名实旁体识防别（6）指唤代消潜解（7）词弟义消概歧（8）用捎户查罚询的膨消歧（二庙）基爆于概故念的尽语义下智能驻检索淘技术系统固基于诸对概漫念内垄涵的葵理解贱以及旅用户绿提交港的关映键词瓣所表接达的给概念卡作为牧搜索蚕依据伍，能脾同时效对该选词的刻同义既词、该近义饿词、泳广义垮词、驶狭义手词进椅行检辨索。（三滋）基盾于Ag票en奴t的智椒能检师索技泛术基于趁多Ag伟en深t的智蹦能检惩索体辣系主绒要包眉括Us康er伍A凯ge暮nt、Sp俘id凉er寒A尤ge剂nt和Co网ll易ec闭to呆r钱Ag控en班t。信息抗存储赶与检疗索》7.蛇3.捡3智能她检索派系统薯与应后用（一馒）智促能检架索系楼统的叨组成招和功圈能智能雾信息国检索鄙系统靠由知途识库泳、文饱本处捞理和霞智能较接口燥三部铁分组滚成师。智能制检索生系统跳一般悦具有叶以下遮功能钩：（1）能滨理解窗自然负语言土，允阵许用赞自然屠语言搜提出梯各种腔询问而。（2）具抱有推基理能期力，饱能根滴据存薄储的饶事实熟，演碰绎出奥所需吗要的毅答案趟。（3）系愈统拥昌有一脊定常身识性怠知识贺，以税补充宵学科搞范围幕的专衡业知爆识。信息维存储肺与检桶索》7.边3.师3智能处检索昏系统变与应便用（二老）几粉种典别型的供智能似信息递检索矮系统Sa加vv易yS催ea纠rc赚h系统敲是一旋个应脉用了献元搜胳索技帝术的纵中介船搜索川系统煎，它悠采用鸭基于巩经验石学习遭的优粘化选穗择搜夏索引舟擎方毕法，弓具有冻智能洽地选墨择多端个远木程搜团索引庭擎以丙及与歪其交右互的房诚能力落。Ex爸ci底te应用矮了检痛索词匹“智博能概狗念提番取”织技术膏，对怪用户社输入档的关夕键字凝进行茎扩展京。一些提用户魂个性垃化信豆息检庙索系徒统,如We女bW傅at谅ch剂er、Sh前oP绑Bo旷t、Fa纲b等，到都是斯一些危基于Ag遗en昌t的智猾能化弓的程系序，程主要棕通过能学习雀用户片的历箭史关赌联信挡息，象在线迅引导过用户新检索摊感兴御趣的挖信息哨。信息苍存储胸与检类索》7.筒4.绣2基于列语法美分析络的自昂然语厘言检劈燕索2第四尝节雀自世然语众言检宪索7.4.1自然语言理解

17.策4.堤3基于苹语义殿分析子的自处然语办言检厦索337.秒4.团4基于偏本体尤的自圾然语侨言检海索4信息期存储脂与检啊索》7.悟4.承1自然史语言康理解（一做）自怒然语问言理半解的篇原理自然委语言泥理解班分为仇语音脉理解旅和书苍面理嘉解两会个方们面粒。语音化理解事是指骗用口彻语语饭音输先入，饼使计陵算机柱“听盗懂”律语音酱信号洒，用挡文字贡或语营音合压成输王出应固答蚊。书面贼理解雪是指岭用文坝字输水入，阴使计矿算机垂“看只懂”勤文字锯符号钟，也秤用文耐字输瓶出应腹答向。信息暗存储答与检功索》7.惊4.宇1自然是语言差理解（二劫）自姿然语很言理望解的每层次（1）语题音学温层次协，对析语言我声音篇的识棵别、恰理解谈和合浪成车。（2）词滤形学公层次锹，对站各种塑词形露和词零的可要识别段部分亏的处腊理。（3）词距汇学冰层次蔬，重她点在裕于对墙词操接作和车词汇吹系统窜的控垂制。（4）句份法层隙次，懒它与役语言武结构士单元改的鉴气别有撒关术。（5）语未义层颜次，销对自怕然语皮言文姻本意述义的垦识别愚、理耕解和忙表示忙。（6）语裹用学迁层次侄，涉盯及上得下文红和语族言交友际环馅境以萌及背正景意挎义和芳联想仿意义尼的语太义分誉析。信息芝存储治与检译索》7.骗4.欢1自然滚语言扬理解（三胸）自呆然语层言理哥解在忌信息纱检索土中的与应用自然锁语言芽理解呼在信均息检加索中艇的应担用可蜂以体牌现在捉一个室或多贩个语趋言处脑理层石次上锈，既雁可以扩仅应胜用于学查询羽，也瞧可以倾同时锈应用家于查拦询和累被检答索的呜文本居。由驶于语呈言的遗各个扭层次竿都包只含了竞一定惠的含谁义，赏能够闯传递缘瑞一定跪的信务息，孝每个螺层次裤上的厦自然某语言慌理解舒都能占对提段高检叫索效向率有奥一定钻程度眉的帮柔助。信息哲存储切与检险索》7.族4.葡2基于态语法捐分析矩的自神然语大言检推索（一席）基共于词裳法分芽析的骂自然习语言方检索词法甲分析躺方法划对文麻本、接网页走首先艳进行柔词语罩切分蒸，然谣后通略过词某频统捞计和顶词出阁现位袜置的扛判断喜，在逐文本捕和网萝页中焦提取烫主题债词和分概念违词，启作为耕索引邪。同灰样从器用户僵提问密中筛窗选出你有检矿索意弟义的制一个往或多详个词教单元倚，各近个单外元词售之间姥构建嘴相应掠的逻晌辑关应系。基于辱词法愿分析志的方岁法主插要包宰括加切权统锯计法槐、N元法箱、统奇计学沟习方篮法。信息扛存储磨与检推索》7.速4.陆2基于稠语法蛇分析在的自房诚然语所言检肚索（二乐）自努然语云言检霉索中贤的句部法分以析句法障分析劳是对分句子俩和短丈语的朝结构贪进行乏分析站。句祥法分糟析的殖方法炎有很讯多，砖有短历语结拿构语饱法、唉格语麻法、岭扩充至转移军网络满和功壶能语汉法等伐。句屯法处得理，碍即根税据文茧字的惕语法奴知识台，通欲过对忍句型因结构认的分中析，居自动扬抽取姓复杂钞的标消识单垮元来巾代替率由统铸计方菊法得惠到的兼关键穴词进特行标粪引。信息问存储件与检呆索》7.孔4.搁3基于甚语义肾分析违的自慢然语食言检踢索（一仇）语隶义分洒析理融论语义裹分析汉理论西涉及扯到语励义分绣析方捏法的匠语义烦关系悠类型悉和语挂义关硬系的洽形式社化表他示等秋内容油。语膊义关预系类遵型是肠指某水种标讯准归宣纳句甚子内采各部液分之坡间的训语义吼关系迟共性承，语惯义关壳系的腿形式有化表姻示是赔指从添各种墨句子惰的具哥体语红义中永抽象嫩概括返出共厨同的允语义唉关系短适用废的符煌号表饭示。现有四的语围义分笔析理五论主槐要有倒：格窑语法耻、语缎义网引络、根概念盖从属档理论务和框脊架分鸟析法拢等信息等存储运与检薪索》7.司4.个3基于绳语义呜分析亦的自颤然语索言检竹索（二金）自闸然语屠言检伪索中毁的语端义分缴析在自驳然语灯言检伤索中彩，语级义分啦析是倾在词酒法分词析和漆句法恢分析受的基缎础上详进行道的，聋这三孝个分魂析步房诚骤的柜组合铺方式轨有语魂义解鹊释方吼式、丹语义堡分析粗方式极、句乓法语够义混证合方范式和烈语义某驱动磨方式脖。词法祖分析句法毅分析语义领分析词法弃分析句法挣分析语义普分析词法沙分析句法故分析语义默分析词法准分析句法宾分析语义爷分析a）语帅义解悟释b)语义毕分析c)句法博语义宽混合d)语义师驱动信息耻存储指与检仇索》7.雾4.鹊4基于严本体轿的自发然语岸言检催索（一规）本赵体在洁自然再语言避检索难中的竖作用本体洽在自攀然语愁言检县索系区统中坏的作省用体隆现在畜三个绵方面甘：改善踪蝶对信仗息源评的处疤理；优化尸用户怀界面竿；辅助吼自然赞语言昏处理驾过程倍。信息老存储短与检漂索》7.挨4.屿4基于惨本体欺的自解然语绒言检及索（二亚）基洋于本猎体的监自然缩慧语言曲检索粮实现汇方法基于蓄本体伸的自仆然语队言检雕索系缩慧统整经体上吉由本坊体管蚊理模脏块、天问题次处理播模块怪、文孕本预谜处理部模块娱、信妙息检吗索模汗块、裁库文情件管克理模楼块组劲成，鲜实现厉算法眉概括指如下驱：（1）在来领域担专家河的帮窑助下波，建耻立相泡关领郑域的泰本体坝。（2）收失集信柄息源权中的菠数据促，并隐参照愉已建它立的倾本体卸，把笔收集谜来的舌数据阴按规豆定的首格式案存储量在元夕数据疾库中搬。（3）按突照本证体把兴查询披请求牧转换矩成规尼定的森格式样，从抢元数葵据库煮中匹依配出岭符合泪条件币的数误据集言合。（4）检纷索的适结果滨经过售定制蓝处理迁后，炊返回暴给用害户。信息散存储闷与检惧索》7.友5.局2跨语言挑检索赚中的壳语言柔资源27.5.1跨语言检索实现模式17.处5.盆3跨语肢言检时索的纹关键摔技术337.妨5.氏4提问阵式翻乐译的才几种压方法4第五唉节折跨耐语言葛检索信息烤存储触与检斑索》7.趋5.球1跨语北言检掠索实意现模册式（一栋）提谦问式关翻译服方法在信迫息检稼索之嚼前,将提贸问式府的语雄种转井化翻湖译成删所要孙检索匠信息置的信析息语序种。（二件）文霉献翻等译方但法不对粒提问盏式进谈行翻稍译，捷而是娇把数扩据库熊中用材目标煮语言灰描述痛的文茂献翻店译成搅与提彻问描幅述相托一致旺的源链语言生形式（三姑）提脊问式—文献旱翻译索方法首先诱将源级语言裹提问董式翻灯译成利目标认语言今提问何式，弟然后躁与目旧标语狐言描挥述的垒信息追库进壤行匹富配，岁再把歉检索紧结果肤的全鹊部或督部分升翻译议成源麦语言术描述植的信推息。信息晓存储树与检使索》7.亭5.杯1跨语雁言检秩索实燃现模矮式（四处）中肺间翻遥译方拌法将源眼语言霜翻译虾成中钢间语哥言（质可以糠是一肯种或瓣多种梅），盲然后定再将衣中间踩语言倒翻译嘱成目此标语是言（烟利用绍多种虫中间巨语言脾时需稠要合蜘并）匹。（五茶）不衡翻译毒方法不需返要词馆典、汤词表舍和机烤器翻忽译系犁统,也不舞存在祸翻译削过程团中消嫌除歧谁义问赵题,具有源很高劣的灵律活性久和适禁应性信息够存储断与检但索》7.则5.亲1跨语会言检鸦索实浅现模壁式（六逗）专咳有名嫂词音粒译法音译诱方法身根据述处理言的方闪向可卡以区搅分成盼正向菠音译善与反