网站内容监控系统

网站内容监控系统©2007-2008STARRYInc.目录面临的问题产品定位系统架构系统功能面临的问题网站数量激增伴随着互联网的发展，网站的数量急剧增多，至2008年初全国网站数量达到150万个，年增长率78.4%，全国网页数量达到亿个，年增长率89.4%，全国域名数量达到1193万个，年增长率达到了190.4%网站信息总量达到198,348GB，面临的问题网站信息安全管理不容乐观各类非法信息（淫秽色情、迷信反动、赌博等）以网站为载体传播，监管难度大，传播速度快，危害严重。目前仅能采取以下非常有限的措施：1、多次开展“扫黄打非”专项行动2、主管部门要求“谁接入，谁负责”，将责任加给运营商3、用户举报、公安等部门调查，事后发现补救4、网站备案，以加大网站的管理

与此鲜明对照：国家对加强信息安全管理，已经提高到新的高度面临的问题没有解决的几个关键问题

网站有哪些网站内容有什么如何提升信息安全管理水平和效率目录面临的问题产品定位系统架构系统功能产品定位根据原信息产业部及网通、电信等运营商开展专项活动中提出的要求，配合实现信息安全管理中的“三不、三建”自动发现网站，实现对网站情况的掌握按照配置规则，实现对网页内容的自动浏览监控，及时发现违规信息与信息产业部备案系统接口，及时发现未备案的网站实现IP地址、用户网站信息本地数据库的建立建立网站信息安全管理平台网站未备案不能接入不能接入不良信息不能从事违法活动建专人专岗建内部管理系统建网站备案信息数据库目录面临的问题产品定位系统架构系统功能系统架构集中部署，分布式处理分权管理模块化设计灵活可扩展丰富的接口与其它系统互联系统架构系统部署业务服务器DNS分析服务器IDC前置服务器内容搜索引擎数据库互联网DNS系统IDC系统架构目录面临的问题产品定位系统架构系统功能系统功能网站发现解决“都有哪些网站？”的问题，是网站内容监控的前提。使用3种技术实现：1、WEBSPIDER（网络爬虫）技术，自动对指定IP范围（默认为全球网站）内的网站进行遍历，“主动”发现。2、DNS请求分析技术，通过对DNS（1-2台即可）请求报文镜像分析，“被动”发现网站。3、HTTP分析发现，对指定区域（如IDC）HTTP请求报文镜像分析，发现该区域内所有网站。

目前电信仅采用第二种技术，受到信产部关注。系统功能网站内容监控解决“网站都有什么内容？”通过使用分布式搜索引擎技术，对指定IP地址范围内或特定的网站进行自动内容扫描，与事先设定的监控主体的关键字进行匹配，通过分词、加权算法等技术，实现对违规网站的发现。

通过设定的处理流程，确保对违规网站进行相应的处理，并留下完备的记录。

系统功能系统功能网站名单管理根据网站内容监控的情况，设置：黑名单、白名单、灰名单，按照设定的定级规则，可自定触发将网站归类，可与DNS、路由器等其它系统/设备联动，实现对黑名单用户的处罚。

系统功能网页篡改预警对指定的重点网站（如政府、大客户）的页面进行自动镜像、比对，如被黑客攻击进行页面的篡改，立即进行告警，并可协助用户进行恢复。

系统功能网站备案管理

参照信息产业部备案管理流程，建立运营商的备案管理系统，避免目前的存在的帐号管理、流程复杂等问题，使运营商全部掌握所接入用户的网站备案情况。按照《备案系统接入商接口规范》，将运营商备案信息与信产部数据库同步。拥有自主的备案管理系统，可在下一步与97系统等业务系统结合，实现全业务流程的控制。

系统功能IP地址管理

实现IP地址申请、分配、注册的闭环管理，并实现与信息产业部IP地址报备系统接口。