互联网信息收集分析系统

互联网信息收集分析系统项目前期报告一、 概述现代社会是一个信息社会，掌握必要的信息是发现问题、解决问题的前提。如何汇集网络民情信息呢？需要建立网络民情信息收集机构和民情监控系统，对重点网站的民情、重点论坛进行信息收集，全方位、多角度了解社情民意。《互联网信息收集分析系统》将提供信息汇集服务，机构及工作人员可以充分利用计算机网络自动信息采集功能来收集相关信息，系统根据用户信息需求，设定主题目标，使用人工参与和自动信息采集相结合的方法完成信息收集。《互联网信息收集分析系统》是指通过对网络各类信息汇集、分类、整合、筛选等技术处理，再形成对网络热点、动态、网民意见等实时统计报表的软件系统平台。二、 项目研发背景随着互联网的快速发展，网络媒体作为一种新的信息传播形式，已深入人们的日常生活。网友言论活跃已达到前所未有的程度，不论是国内还是国际重大事件，都能马上形成网上舆论，通过这种网络来表达观点、传播思想，进而产生巨大的舆论压力，达到任何部门、机构都无法忽视的地步。可以说，互联网已成为思想文化信息的集散地和社会舆论的放大器。随着网络的不断发展，网络民情越来越受到社会的关注。如何利用网络了解民情，汇聚民智，以便科学决策？有必要建立网络民情分析机制。为了能够全方位保证网络民情信息收集系统的日常运作，政府需要从物质、制度、资金、人员等方面加以保障。信息汇集机制。现代社会是一个信息社会，掌握必要的信息是发现问题、解决问题的前提。如何汇集网络民情信息呢？需要建立网络民情信息收集机构和民情监控系统，对重点网站的民情、重点论坛进行信息收集，全方位、多角度了解社情民意。信息收集机构及工作人员应充分利用计算机网络自动信息采集功能来收集相关信息，根据用户信息需求，设定主题目标，使用人工参与和自动信息采集相结合的方法完成信息收集。为了能够全方位保证网络民情信息收集系统的日常运作，政府需要从物质、制度、资金、人员等方面加以保障。信息决策机制。收集信息以后，必须对社会民情信息进行针对性分析，以作为决策的依据。对收集到的信息素材进行分类，提取关键词，按照主题重新组织信息，并生成民情信息。通过对所收集信息进行深入分析，理清思路，采用定性分析与定量分析相结合，进行计算机决策模拟与人工决策相结合的决策方式。同时，要建立科学的决策程序。运用信息反馈机制不断完善分析决策。以按需定制的方式将民情信息提供给相关人或民情监控部门，在民情分析系统运行过程中，民情监控部门可以对已有的信息进行评估，又会产生新的信息需求，进而规划新的民情监控重点，开始新的民情监控，形成一个具有生命特征的周期往复的社情民意反馈机制。问题解决机制。网络民情是社会变化的晴雨表，网络民情的变化反映了人们对政府的态度，研究和分析网络民情目的是为了解决问题，促进社会和谐。一是建立民主参与平台。政府部门可以通过政府网站对关系到群众切身利益的政策举行听证会，与老百姓对话，获取信息，征求意见。领导干部可以通过网络，开辟个人主页，建立博客，公布自己的电子邮箱，专门收集百姓意见，接受网上群众信访，定期与群众进行面对面沟通和交流，了解百姓所需所求，帮助群众解决实际问题。进而可以探索通过网络参与决策的新形式，如民意测验、电子投票、电子问责制等民主手段。为有效防止公职人员的越权行为，我们可以把某些工作制度，利用信息技术设计固定程序，在群众的注视之下，由机器来执行，从而把制度执行过程中的人为干扰降低到最低限度，消除以权谋私的机会。二是建立危机干预平台。通过网络民情分析系统，在第一时间内获得最新网络民情,并对这些民情进行有足够时间的研判，特别是发现社会风险苗头，再决定采用何种方式进行化解。设计网络民情应急预案。预则立，不预则废。为了有效防控危机（或社会风险）的发生，应该结合本地实情，借鉴成功案例，着眼未来，制定详细而周密的应急预案，以保证危机（或社会风险）发生时临危不惧，获得最大限度的主动权。制定网络民情预警预案时，可以将危机（或社会风险）分为三级，即1级（重大）、2级（较大）、3级（一般）。根据具体等级类别，采取相应的对策，调动与之对应的资源和力量处理危机。运用技术手段引导控制。网管机构要利用互联网的监控技术，实施对IP地址的监测、跟踪；实行网管全天候值班监测，对“黄赌毒”和有损国家人民利益等负面信息进行及时清除；运用智能型软件进行敏感词组的自动过滤；部分重要论坛实行实名认证制度，通过对论坛发帖的延时审查及发布等措施净化网络环境，维护社会和谐稳定。三、项目方案《互联网信息收集分析系统》通过对热点问题和重点领域比较集中的网站信息，如：网页、论坛、BBS等，进行24小时监控，随时下载最新的消息和意见。下载后完成对数据格式的转换及元数据的标引。对下载本地的信息，进行初步的过滤和预处理。对热点问题和重要领域实施监控，前提是必须通过人际交互建立舆情监控的知识库，用来指导智能分析的过程。对热点问题的智能分析，首先基于传统基于向量空间的特征分析技术上，对抓取的内容做分类、聚类和摘要分析，对信息完成初步的再组织。然后在监控知识库的指导下进行基于舆情的语义分析，使管理者看到的民情民意更有效，更符合现实。最后将监控的结果，分别推送到不同的职能部门，供制定对策使用。《互联网信息收集分析系统》是利用搜索引擎技术和网络信息挖掘技术，通过网页内容的自动采集处理、敏感词过滤、智能聚类分类、主题检测、专题聚焦、统计分析，实现各单位对自己相关网络舆情监督管理的需要，最终形成舆情简报、舆情专报、分析报告、移动快报，为决策层全面掌握舆情动态，做出正确舆论引导，提供分析依据。《互联网信息收集分析系统》是征对在一定的社会空间内，围绕中介性社会事件的发生、发展和变化，民众对社会管理者产生和持有的社会政治态度于网络上表达出来意愿集合而进行的计算机监测的系统统称。“网络舆情”是较多群众关于社会中各种现象、问题所表达的信念、态度、意见和情绪等等表现的总和。网络舆情形成迅速，对社会影响巨大，加强互联网信息监管的同时，组织力量开展信息汇集整理和分析，对于及时应对网络突发的公共事件和全面掌握社情民意很有意义。（一）、它包括以下几个主要子系统：1、 舆情分析引擎系统舆情分析引擎为系统的核心功能，其主要包括以下功能：热点识别能力、自动分类、聚类分析、倾向性分析与统计、主题跟踪、信息自动摘要功能、截取证据、趋势分析、突发事件分析、报警系统、统计报告。2、 互联网信息米集系统采用元搜索与信息雷达技术。智能信息抽取技术主要是针对特殊

客户进行特定领域的信息采集。3、搜索引擎数据管理系统搜索引擎数据管理功能主要包括以下功能：对收集到信息进行预处理；对搜索引擎数据集进行阶段性的数据维护；支持系统多用户分级管理系统，包括用户逐级进行审核功能；支持信息服务：最新报道、热点新闻、分类阅读、舆情简报、信息检索、RSS订阅等服务；信息、文档转换技术：可以对信息进行传统文件格式转换。如：Doc、Excel、Access>Rss等文件生成。可生成报表。ii.au*曜推疙花JavaScfim^jHiHTMLWListjf/htft挽计.M黠虹由fltHla雄神折蚣就城侣息涅聊思［F税最般替地，F帜耳耳补卑F皿棍株临聊Eii.au*曜推疙花JavaScfim^jHiHTMLWListjf/htft挽计.M黠虹由fltHla雄神折蚣就城侣息涅聊思［F税最般替地，F帜耳耳补卑F皿棍株临聊E快峻做是阿米幻段京互联啊监捶部丹地同最皤内向尸肖站BBSitf.-. 境升谶站 员它_-I- 网络Bj火堵，安全设臆俏息采瑰 .个文搜索啪擎IS执史也控：f矣理词版KU■曲血莎村/BBS也门帖fi「浙右什思陪*（二）、功能简述•热点识别能力可以根据新闻出处权威度、评论数量、发言时间密集程度等参数，识别出给定时间段内的热门话题。•倾向性分析与统计对信息的阐述的观点、主旨进行倾向性分析。以提供参考分析依据。分析的依据可根据信息的转载量、评论的回言信息时间密集度。来判别信息的发展倾向。•主题跟踪主题跟踪主要是指针对热点话题进行信息跟踪，并对其进行倾向性与趁势分析。跟踪的具体内容包括：信息来源、转载量、转载地址、地域分布、信息发布者等相关信息元素。其建立在倾向性与趁势分析的基础上。•信息自动摘要功能能够根据文档内容自动抽取文档摘要信息，这些摘要能够准确代表文章内容主题和中心思想。用户无需查看全部文章内容，通过该智能摘要即可快速了解文章大意与核心内容，提高用户信息利用效率。而且该智能摘要可以根据用户需求调整不同长度，满足不同的需求。主要包括文本信息摘要与网页信息摘要两个方面。•趋势分析通过图表展示监控词汇和时间的分布关系以及趋势分析，包括地域信息分布。以提供阶段性的分析。如：信息传播的区域分布，转载量与转载网站类型等。•突发事件分析突发事件不外乎有以下几种：自然灾害、社会灾难、战争、动乱和偶发事件等等。互联网信息监控分析系统主要是针对互联网信息进行突发事件监听与分析。对热点信息的倾向分析与趁势分析，以监听信息的突发性。•报警系统报警系统主要是针对舆情分析引擎系统的热点信息与突发事件进行监听分析，然后根据信息的语料库与报警监控信息库进行分析。以确保信息的舆论健康发展。•统计报告根据舆情分析引擎处理后的结果库生成报告，用户可通过浏览器浏览，提供信息检索功能，根据指定条件对热点话题、倾向性进行查询，并浏览信息的具体内容，提供决策支持。（三）、系统应用目标•自定义监察范围，可按行业、按地域、按信息发布时间……等方式监察信息内容；•自定义监察信息级别；•自定义监察信息方式，手工与自动监察相结合；•自动预警、报警，追查信息来源与散布范围；•自定义规则实现对文字、图片、视频、论坛、博客、评论……等等信息的监察与监控；•自定义或自动扫瞄管辖段的网站；•自动重点跟踪异常内容变动频繁的网站或信息来源；•自动保留计算机无法判别的意识形态内容进行汇总反馈；•实现信息判别的自我学习和信息库自动升级。四、项目承担单位及基础工作情况本项日将由昆明道林格科技有限公司及昆明理工大学信息工程与自动化学院共同承担。1、昆明道林格科技有限公司简介2、昆明理工大学信息工程与自动化学院五、项目市场策略《互联网信息收集分析系统》根据其原有客户希望能够及时了解互联网上与其有关的舆情信息的需求，使用多用户版舆情监控系统，为多家客户提供舆情监控、商情分析服务。《互联网信息收集分析系统》增强了针对信息情报分析的能力，能够24小时自动对日标行业网站（新闻、论坛、博客等）进行实时监控，及时获取与己行业有关的各项情报数据！系统提供用户针对本行业的特点，使用智能舆情监控系统，对各网站、论坛进行24小时监控，将当天（24小时内）的用户发帖数据进行整理分析（系统自动分析），归类出一天内、三天内、一周内、一月内论坛用户最关注的相关信息，以此做出符合用户需求的决策，及时的把握行业的发展趋势，走在同行的前边。《互联网信息收集分析系统》结