开题报告-微博舆情管理平台数据分析系统的设计与实现

1、适合专业：信息安全专业指导教师（签名）： 提交日期：2013年03月08日学院：计算机学院专业:信息安全学生_学号：毕业设计（论文）基本容和要求：微博作为迅速崛起的新兴社会媒体，在网络舆情领域日益引起研究者 的关注。面对互联网量的数据信息，我们无法想象仅仅通过人工的方式 来对互联网舆情进行全面监控的难度。因此，结合网络信息采集技术和 文本信息自动处理等技术研发一个网络舆情自动监控系统将有利于社会 管理者们及时了解网络舆情的状态和趋势，因而可以对发现的热点舆情 及时进行干预，引导疏通民众情绪和心、理，避免矛盾的进一步恶化而造 成更大的社会损失。现有舆情监测系统在采集、检索和分析模块中都是 采用基

2、于统计和特征关键词的方法，由于忽略了文本中的语义信息往往 会导致分析结果的不精确。本毕业设计主要针对当前微博中用户身份定 位、热点信息挖掘以及负面信息的发现与及时处理等机制进行设计与实 现，主要分为数据采集、数据挖掘分析和结果呈现三个部分。主要的工 作分工如下：数据采集（微博爬虫程序）功能的实现，抓取微博文本信息。对收集到的文本信息进行数据分析，确定舆情热点关键词、分 析用户身份关系将分析结果进行数据呈现。微博舆情管理平台预期实现对主流微博平台（新浪微博，腾讯 微博等）消息的自动采集分析，得出最近热点词，关键词；输入关 键词后可对与此关键词有关的微博消息进行评估预警，提醒使用者 及时作出应对措

3、施页脚.毕业设计重点研究的问题：对收集到的数据进行甄别归类分析，实现分词等算法。向量空间模型模型（VSM）及潜在语义索引（LSI）文本倾向性分析实现毕业设计应完成的工作：进行微博舆情监控方面现状的网络调研，熟悉微博管理系统的 全过程；熟悉微波舆情监控系统的工作流程，设计合理的分工方案；熟练掌握c和php数据分析算法实现；撰写毕业论文。参考资料推荐：王艺.重大突发公共事件的微博舆情监测与引导初探.民族学院 学报.2011.05c语言相关资料超.文本倾向性分析在舆情监控系统中的应用研究（硕士学位论 文）.邮电大学.2008.02莫溢，盛华，悦，程学旗.一种相关话题微博信息的筛选规则学习 算法.中文

4、信息学报.2012.09陆浩.网络舆情监测研究与原型实现.邮电大学.2009.02莫溢，盛华，悦，程学旗.一种相关话题微博信息的筛选规则学习 算法.中文信息学报.2012.09涛.智能信息处理技术在互联网舆情分析中的应用（硕士学位论 文）.同济大学.2008.05Larsen B， Aone C. Fast and effective text mining using linear-time document clustering. In： Proceedings of the Fifth ACM SIGKDD International Conference on Knowledge Di

5、scovery and Data Mining， San Diego： CA,1999. 16一22.其他要说明的问题:学院：计算机学院专业：信息安全学生：骁 学号: 09283050文献综述：研究背景：舆情分析关乎国家发展与社会和谐，目前已有越来越多的机构和行 业从事舆情分析Web2.0时代的到来，使人们进入网络信息大爆炸 时代。新浪微博每天有近1亿的微博容产生。如何从海量的微博信 息中提取有价值的信息，并对负面、消极及虚假信息进行及时的管 控，已经成为舆情热点分析的突出问题。良好的解决方案，不仅可 以监督规网络行为，净化网络环境，更重要的还能从中获取各类有 用信息，进行诸如商业价值（用户兴

6、趣挖掘），信息传播学（网络拓 扑与热点追踪），以及一些社会学方面的研究。从而能够满足人们的 需求，同时对于社会的和谐、网络舆论生态的健康、国家的发展都 有重要的现实意义。研究现状及基本方法目前，已有越来越多的机构从事舆情分析。但是，这些舆情分析系 统一般只应用于企业或政府，更关注于对负面、消极及虚假信息的 监管，并且不对公众开放。在当今的社会，人们也迫切希望得到一 些关乎自身利益的事件的发展情况，如物价的变化、对于一些厂家 产品的使用评价等。对于微博舆情预警功能模块的实现，网络舆情 安全的评估预警等功能实现的不多。研究容及意义微博舆情管理平台预期实现对主流微博平台（新浪微博，腾讯微 博等）消息

7、的自动采集分析，得出最近热点词，关键词；输入关键 词后可对与此关键词有关的微博消息进行评估预警，提醒使用者及 时作出应对措施。面对互联网量的数据信息，我们无法想象仅仅通过人工的方式来 对互联网舆情进行全面监控的难度。因此，结合网络信息采集技术 和文本信息自动处理等技术研发一个网络舆情自动监控系统将有利 于社会管理者们及时了解网络舆情的状态和趋势，因而可以对发现 的热点舆情及时进行干预，引导疏通民众情绪和心理，避免矛盾的 进一步恶化而造成更大的社会损失。主要参考文献：洋，何楚杰，段俊文，春程.微博舆情热点分析系统设计研究.信 息网络安全.2012.09王艺.重大突发公共事件的微博舆情监测与引导初

8、探.民族学院 学报.2011.05涛.智能信息处理技术在互联网舆情分析中的应用（硕士学位论 文）.同济大学.2008.05超.文本倾向性分析在舆情监控系统中的应用研究（硕士学位论 文）.邮电大学.2008.02唐晓波 宋承伟.基于复杂网络的微博舆情分析.情报学 报.2012.11恒文.基于网络语义挖掘的舆情监测预警研究（硕士学位论文）.理 工大学.2010.05王晶，朱珂，汪斌强.基于信息数据分析的微博研究综述.计算 机应用.2012.07莫溢，盛华，悦，程学旗.一种相关话题微博信息的筛选规则学习 算法.中文信息学报.2012.09谭俊武.面向网络舆情分析的文本倾向性分类技术的研究与实现 （硕

9、士学位论文）.国防科技大学.2009.11陆浩.网络舆情监测研究与原型实现.邮电大学.2009.02M. Spitters， W. Kraaij. Using Language Models for Tracking Events of Interest over Time Proceedings of the Workshop on Language Models for Information. Retrieval（LMIR）,Pinsburgh， 2001.Larsen B， Aone C. Fast and effective text mining using linear-time

10、 document clustering. In： Proceedings of the Fifth ACM SIGKDD International Conference on Knowledge Discovery and Data Mining， San Diego： CA,1999. 16一22.J.Yi，T. Nasukawa，R Bunescu，and w. Niblack. Sentiment Analyzer： Extracting Sentiment S about a Given Topic using Natural Language Processing Techniq

11、ues A. In： Proceedings of the 3rd IEEE International Conference on Data Mining（ICDM22003）【C】.研究方案：理论基础：1 ）向量空间模型模型（VSM）2）潜在语义索引（LSI）3）聚类分析方法研究步骤：1）研读文献，对已采集数据的算法分析进行调研；2）建立模型，进行模块化设计；3）数据分析部分的代码实现；4）对系统的整体实现；5）系统的测试、评价、反馈、改进；6）实验数据收集，撰写论文。关键技术与难点1）尝试将共词网络与复杂网络方法应用于基于微博的网络舆情 分析中。使用图论对现实中的舆情问题进行建模，运用数

12、学基本 理论对模型中实体之间的关系进行定量计算，应用直观的共词网 络与复杂网络可视化方法，对微博舆情分析中的两个主要任务， 热点探测和微博领袖热点发现展开综合研究。2）微博部分信息是零散的、高噪声的、随机的和碎片化的，从 而导致构建出的文档向量空间矩阵维数较高，但数据稀疏，因此 传统基于VSM（Vector Space Mode1）的文本聚类方法在微博客热 点探测中的效果不佳。需要对VSM进行改进或者提出更高效的方 法。3）舆情监控系统的核心技术在于舆情分析引擎，涉及的最主要 的技术包括文本分类、聚类、观点倾向性识别、主题检测与跟踪、 自动摘要等计算机文本信息容识别技术。其中基于关键词统计分 析方法的技术相对比较成熟，但在其有效性方面还有很大的提高 空间。预期成果通过与组员的配合，实现一个能对微博信息进行检测分析的平 台；与已有的检测平台相比，实现更高的有效性，准确性；初步 实现对指定简单微博关键词