网络论坛的问答搜索技术研究

1、网络论坛的问答搜索技术研究论文导读：可以有效提高问答检索的准确性。答案抽取及排序问题决定了整个系统的性能。在这里我们使用RankingSVM。排序方法。网络论坛的问答搜索技术研究。关键词：问答检索，答案抽取，Ranking，SVM排序1 引言随着搜索技术的不断开展，搜索引擎从全文搜索、综合式搜索慢慢向个性化化、专业化、智能化开展。如今个性化搜索引擎系统、垂直搜索引擎【1】系统正逐渐得到更多用户的青睐。下面针对论坛资源的问答检索就是一种更专业搜索引擎系统。论坛作为一种专门为用户提供信息交流和讨论的地方，只要授权登录用户都可以在论坛上发布和回复消息。目前论坛众多，涉及的领域广泛，应用形式多样，譬如

2、有电子公告板(BBS)、新闻组(Newsgroup)、讨论组、贴吧等。论坛吸引了大量用户，其中一项重要的功能是解决问题。用户针对某一领域发帖提出问题，其他用户回复帖子，通过相互交流信息，到达解决问题的目的。论坛集聚了大量的人力资源，由人肉搜索引擎释放出来的威力就可见一斑。人肉搜索也是一类提问答复网站，先是一人提问，然后八方回应，通过网络社区集合广阔网民的力量，寻求答案，追查事实真相。随着网络的普及，无数人在利用论坛进行问题的问答和讨论，其中很大一局部问题都能得到质量较高的答复。当然，可以利用这些基于主题的问题/答案对，进行采集处理，提供检索加以利用。当用户搜索问题时，能够定位到已搜集论坛中某个

3、相似甚至完全相同的问题，将回复答案返回给用户，将大大提高问题解决的效率和准确度，这也将优于一般的信息检索系统。如何构建这样一个问答检索系统以及提高查询的精度将是本文研究的重点。2 关键问题要实现对论坛各种问答资源的有效整合和利用，需要解决数据采集与格式化、答案抽取与推送排序、索引建立、数据存储、问题映射等方面的问题。对于数据的收集和格式化问题，不同于互联网全文搜索引擎，对论坛数据的利用不能简单基于页面，而需要将其表示为以帖子为单位的格式化数据，其中涉及到数据拆分、数据抽取、数据清理等一系列难点。当然可以通过特定的程序抽取问答数据，并使用语法分析、正那么表达式等技术对数据格式化。论文检测，Ran

4、king。答案抽取及排序问题决定了整个系统的性能，是要重点解决的问题。论坛中对一个主题帖子的回复数量可能很多，内容可能五花八门，可能是对问题给出的答案，也可能是毫无价值的回复，有用信息不一定很多。即使同为答案，质量上也存在差异。如何高效、准确地将答案抽取出来，并按质量上下推送给用户参考，是研究的关键问题，也是具有一定挑战性的问题。索引建立、数据存储与一般互联网搜索引擎系统的做法相差不大，在此不作详细介绍。而对于问题映射，实际上是将用户查询的问题映射到系统存储数据库中的相似问题。在这里，并不是将查询映射到答案，而是映射到已有问题，而已有问题关联了相关答案。论文检测，Ranking。这有别于一般互

5、联网查询中的关键词匹配网页的方法，可以有效提高问答检索的准确性。问题映射通过关键词匹配或余弦夹角相似性度量方法就可以取得较好的效果。其实，已有不少人在研究论坛数据并提供查询检索。国外有FAQ有了度量，便可以通过由训练样本来学习排序函数。对于给定的训练集T=t1,tn，其中t=(p,D)，即对于问题p和所有回帖集D，训练的目标就是得到一个排序函数f使得所有训练样本的期望度量最大化，如下式：排序函数f在这里使用Ranking SVM排序模型，类似SVM分类器【6】，引入非负的松弛变量，并最小化的上界来逼近原问题的解。给定一个提供全序关系的训练集合S=(p1,),(p2,), (pn,)，利用SVM

6、最大化间隔的规那么化方法，得到如下Ranking SVM的优化问题，最小化目标：约束条件：其中C是控制间隔大小和训练错误之间平衡的参数，是一个权重向量，由学习过程来调整，而那么是描述p和d及其相互联系的特征向量。论文检测，Ranking。上述问题是一个凸优化问题，具有唯一的全局最优解。约束条件3.4变换一下可得到，而这恰好等价于两两的差向量进行SVM分类，一旦训练得到排序函数所需的权重向量，就可以计算一个新问题p的回帖d的排序分数，从而按分数上下得到一个问题帖对应的所有回帖的一个全序排列，取排列的前t项，那么得到最正确答案。对于论坛中的回帖，可提取用于Ranking SVM排序方法的相关特征，

7、主要包括：1发帖时间顺序；2发帖用户名称；3后续帖子反响评价；4帖子长度；5发帖用户发帖总数；6发帖用户在本主题内的发帖总数；7帖子中的超链接数量；8帖子在同一发帖用户中的序号。这些特征都可以设成相应的权重参数进行计算。4 系统结构基于论坛数据的问答搜索系统相当复杂, 涉及到数据采集、数据结构化、数据处理、问题/答案抽取、索引排序、问题映射、接口设计、界面设计等。整个系统结构图设计如下：4.1 网络论坛问答搜索系统结构图图4.1中虚线以下局部通过采集论坛数据来构建问题/答案库，并定期更新，消耗时间较多，可离线实现，上局部对已经结构化的数据进行检索，能够及时反响。整个系统能够保证提高准确率的同时

8、，有较高的检索速率。5 结语对于问答搜索技术的研究，相对来说，国外研究比拟深入，有比拟成功的问答式检索系统，而国内从事问答系统尤其是汉语自动问答技术研究的科研机构还是很少，而且根本没有成型的汉语自动问答系统问世。一个很重要的原因是缺乏一个公认的，相对成熟的汉语问答系统评测平台。本文针对论坛中问题解答数据设计的问答搜索系统，具有较高的应用价值。当然，作为一种Q/A系统的改良形式，提高精度是研究的核心，本文使用SVM排序方法来抽取答案，但算法受到论坛回帖特征表示不明显方面的限制，答案抽取的准确率并不太高，一般在6070%之间，还需要进一步研究回帖摘要深入研究。参考文献【2】RSorieut，and

9、 EBrillAutomaticQuestion Answering：Beyond the FactoidIn Proceedings of the HLTNAACL 2004：Main Conference，57-64【3】HANK S. SONG Y 1. RIM H C. Probabilistic model for definitional question answering.Proceedings of the 29th Annual International ACM SIGIR Conference onResearch and Development in Information Retrieval. New York: ACM Press,2006:212-219【4】KO J. SI L. NYBERG E. A probabilistic graphical model for joint answer rankingin question answering. Proceedings of the 30th AnnualInternational ACM SIGIR Conference on Research and Development in InformationRetrieval. New York: ACM Press, 200