一种准实时的高校BBS 舆情检测系统设计与实现

1、一种准实时的高校BBS 舆情检测系统设计与实现栾文娟 李芝棠 涂浩 史春永 丁荩 鲍金霞 华中科技大学计算机学院 华中科技大学网络与计算中心大纲背景介绍系统介绍关键技术介绍实验环境及结果总结2010-10-28华中科技大学计算机学院 华中科技大学网络与计算中心1.背景介绍1.背景介绍1.背景介绍潜在的危害：用户极有可能发表一些敏感、非法、不健康的言论和泄露一些保密信息，危害网络环境安全。设计本系统的目的：减少有害信息的传播打造一个干净安全的网络环境2010-10-28华中科技大学计算机学院 华中科技大学网络与计算中心大纲背景介绍系统介绍关键技术介绍实验环境及结果总结2010-10-28华中科技

2、大学计算机学院 华中科技大学网络与计算中心2.系统介绍-系统示意图2.系统介绍-系统的爬虫扩展2.系统介绍-数据流程图2010-10-28华中科技大学计算机学院 华中科技大学网络与计算中心本文讨论的高校BBS 舆情检测系统是利用Crawler 实时爬取所检测的BBS内容。大纲背景介绍系统介绍关键技术介绍实验环境及结果总结2010-10-28华中科技大学计算机学院 华中科技大学网络与计算中心3.关键技术系统特点：时效性好，新数据处理周期短。采用多种排重手段，避免处理重复的帖子。2010-10-28华中科技大学计算机学院 华中科技大学网络与计算中心3.关键技术-时效性改进的爬虫只针对特定的版面进行

3、爬取。而不是使用原始的爬取测试，将整个网站的数据全部周期性的重爬。实时搜索采用Lucense建立索引。给用户提供实时搜索的功能。自动生成“事件”实时按照规则将关键的帖子找出来生成“事件”。2010-10-28华中科技大学计算机学院 华中科技大学网络与计算中心3.关键技术-时效性实时搜索功能的实现一般搜索高级搜索2010-10-28华中科技大学计算机学院 华中科技大学网络与计算中心返回3.关键技术-时效性自动生成“事件”功能的实现定义规则的方法：关键词匹配，表达式匹配，词汇间存在与、或、非关系举例：“沟通”很可能会把“水沟通到了淡水河”、“挖沟通衢”搜出来。沟通！(水沟|挖沟)2010-10-2

4、8华中科技大学计算机学院 华中科技大学网络与计算中心3.关键技术-时效性“事件”生成流程图大纲背景介绍系统介绍关键技术介绍实验环境及结果总结2010-10-28华中科技大学计算机学院 华中科技大学网络与计算中心4.实验环境及结果2010-10-28华中科技大学计算机学院 华中科技大学网络与计算中心系统的实验平台是在Ubuntu 下完成，爬虫采用开源项目的scraPy 作为原型，网页预处理是通过Java语的HTMLParser 包来完成，索引部分是通过Lucene来完成的，系统原始数据采集和处理采用java 语言编程实现。此外，系统以mysql 作为数据库，同时采用LAMP(linux+apac

5、he+mysql+php)架构实现系统的web界面平台。 4.实验环境及结果2010-10-28华中科技大学计算机学院 华中科技大学网络与计算中心4.实验环境及结果2010-10-28华中科技大学计算机学院 华中科技大学网络与计算中心4.实验环境及结果2010-10-28华中科技大学计算机学院 华中科技大学网络与计算中心大纲背景介绍系统介绍关键技术介绍实验环境及结果总结2010-10-28华中科技大学计算机学院 华中科技大学网络与计算中心5.总结2010-10-28华中科技大学计算机学院 华中科技大学网络与计算中心 本文提出了一个实际可用的系统功能设计，通过主动对BBS 的敏感事件进行检测，实时搜索帖子，大大提高了采用人工检测B