安徽互联网监测系统建设方案v

互联网监测系统建设方案现状与需求互联网信息传递现状业务需求建设方案功能规划业务目标投资预算目录纲要系统方案投资预算2互联网信息发展现状

互联网发展已经进入快车道，当前，各种业务应用呈现出繁花似锦的景象，给人们的信息和知识的传递和分享了极大的便捷。check-in网页微博QQ和飞信等facebook应用形式繁多论坛和博客3政治文化经济

影响投资环境

阻碍经济发展

破坏社会信息环境情色低俗文化传播如今，互联网已经成为人们传递信息的最快速、最便捷、最有效的途径，同时，也滋生了不法个人和团体用来宣传和传递非法信息工具（如新疆7.5事件就是通过论坛发起的），在经济、文化、政治方面产生了严重的影响。

扰乱社会治安影响民族团结

破坏社会稳定危害国家安全互联网的快速发展滋生了负面信息传递泛滥4基于现状，互联网内容信息监管部门任重道远，需要采用尽可能有效的方式去监测并屏蔽、预警相关内容信息。以净化信息环境和投资环境，维护社会稳定，促进经济和社会发展。业务需求业务需求提升互联网信息监管能力营造良好的社会和经济环境监测、预警不法互联网信息传递5现状与需求互联网信息传递现状业务需求建设方案功能规划业务目标投资预算目录纲要系统方案投资预算6业务目标

互联网信息监测系统生成舆情统计报告，并对舆情主题进行跟踪及趋势分析通过实时检索互联网信息，及时发现不良、不法信息的传播并进行及时预警和引导提高互联网监测的智能化程度，增强互联网信息的监管力度业务目标7总体功能规划互联网信息监测系统具有强大网页信息数据检索、抓取能力，依托其精细化的舆情及不法信息分析、跟踪功能，是提升互联网信息监管能力的有效手段,帮助各级领导战略决策提供依据。13542检索不法信息和舆情传播热点及敏感话题识别敏感和舆情信息预警对检索和扫面的相关信息生成统计报表页面拍照和内容摘要趋势分析8扫描和检索不法信息和舆情传播实时扫描和采集互联网信息，进行处理分析，防止反动、色情等信息及不良舆情的传播。同时支持原数据搜索引擎功能信息扫面检索网页论坛博客空间等反动言论色情信息非法聚会其他信息等特点：采用实时主动采集和爬虫定向抓取相结合的模式，信息扫面双保险自定义采集目标、更新时间及扫描间隔支持多种网页格式静态网页(HTML/HTM/SHTML)和动态网页(ASP/PHP/JSP)等实时采集和元搜索引擎功能9热点及敏感话题识别根据信息出处权威度、发言时间密集程度等参数，利用合理的文本挖掘算法，结合权重分析，识别给定时间段内的热门话题和媒体关注焦点，同时识别敏感话题。特点：具有网页内容自动学习分析能力，过滤如广告及版权等非主体内容从多维度进行分析，利用文本挖掘算法等分析方法，有效区分信息标题、内容及不法和敏感主题召集令;于X月X日在XX广场集聚抗议XXX10敏感话题和舆情信息预警系统扫面到涉赌、涉黄等站点、对突发事件、涉及内容安全的敏感话题及非法言论传递等信息及时发现并告警，并提供相应处理预案。特点：及时预警，提供处理预案支持短信、邮件、弹窗等预警方式。出现预警！11对检索和扫描的相关信息生成统计表系统提供信息检索功能：通过分析引擎处理后生成报告，用户可通过前台览，根据指定条件对非法站点、热点话题、倾向性进行查询，并浏览信息的具体内容，提升决策支撑能力。特点：通过图表直观展现支持关键词模糊匹配，避免遗漏违规情况查一个元搜索引擎就相当于查多个独立搜索引擎关注度舆情关注度统计单位：人12趋势分析对于非法主题，系统提供在特定时间内的确实分析功能，有效掌握相关时间的发展情况及关注程度，以评估事件处理效果，提供更好的舆论引导。特点：支持从时间、区域、舆情变化趋势的预测和引导效果的评估精确掌握并预测非法信息的关注的变化趋势“XXXXX”舆情关注度变化分析关注度趋势线关注人数13页面拍照和内容摘要系统支持页面拍照功能，并对各类主题，各类倾向能够形成自动摘要，以更好的支撑调查取证和研判。特点：具有海量存储功能，支持页面拍照，相关页面存储起来。自动摘要并存储文本14数据采集方式互联网信息监测方案的数据采集采用在骨干网上旁路分流的模式，利用分光器将骨干网流量分流复制到采集器，进行数据采集。此方式优点：部署方便，对网络的干扰和影响小具有良好的扩展性，可按需部署升级扩容方便骨干网上游路由器骨干网下游路由器InternetGE链路采集器分光器15系统架构原数据层数据处理层应用层业务层数据库数据其他数据数据切词网络爬虫光口采集自动分类自动聚类文本挖掘信息过滤相似性检索统计分析数据整理数据存储匹配全文检索子系统文本挖掘子系统统计分析子系统告警子系统信息上报子系统权限管理子系统信息检索热点查询分析热点追踪目标跟踪敏感度分析信息来源分析信息预警信息上报预案子系统处理预案分析关键词库url库论坛新闻博客微薄网页数据其他互联网信息监测系统架构16网络拓扑图Internet分光器关键词库url库磁盘整列分析处理服务Web统计服务器爬虫Internet数据库服务器匹配本系统数据来源方面，采取主动采集数据和爬虫主动爬去的方式进行。主动采集是利用分光器在骨干网节点进行用户数据采集，爬虫服务器择把其直接接入互联网，按照规则进行数据爬去，从而有效的补充监测信息的完整性，防止“盲点”出现，同时也减少采集和解析压力，降低硬件投入。骨干网节点采集器清洗、解析服务器17关键技术强大的信息采集和数据处理能力采用在骨干网用户数据采集及爬虫抓取的大而全的采集模式定时监控，分钟级采集平均单机处理达到TB级别数据处理能力，被监控网站所发布的新内容，几分钟内就可被系统获取。

积累了海量的地址库和词库我们通过平常的采集和沉淀，已经十万级词库库量和百万级地址库同时具有很强的学习更新能力

自动关键词和自动摘要技术基于内容的文本自动分类基于规则的文本分类基于相似性算法的自动聚类技术，自动对海量的无类别文档进行归类，把内容相近文档归为一类，并自动为其生成主题词，为确定类目名称提供方便。

自动关键词和自动摘要技术将传统的全文检索技术与最新的WEB搜索技术相结合，大大提高检索引擎的性能指标。同时融合了多种相关技术，提供丰富的检索手段以及同义词等智能检索方式。18现状与需求互联网信息传递现状业务需求建设方案功能规划业务目标投资预算目录纲要系统方案投资预算19硬件投资预算设备类型设备数量单价总价备注数据收敛分光器4￥10,000￥40,000

光采集器光采集4￥20，000￥80,000解析服务器服务器16￥20,000￥320,000

数据清洗服务