XX(JX)省无线电监测站态势感知及检测预警平台项目技术方案

1、XX省无线电监测站态势感知及检测预警平台采购项目技术方案目录TOC o 1-3 h u HYPERLINK l _Toc465083393 目录 PAGEREF _Toc465083393 h 2 PAGEREF _Toc465083393 h HYPERLINK l _Toc465083394 1项目需求分析 PAGEREF _Toc465083394 h 5 PAGEREF _Toc465083394 h HYPERLINK l _Toc465083395 1.1 项目范围 PAGEREF _Toc465083395 h 5 PAGEREF _Toc465083395 h HYPERLIN

2、K l _Toc465083396 1.2 项目建设目标 PAGEREF _Toc465083396 h 6 PAGEREF _Toc465083396 h HYPERLINK l _Toc465083397 2门户网站安全事件监控系统建设 PAGEREF _Toc465083397 h 6 PAGEREF _Toc465083397 h HYPERLINK l _Toc465083398 2.1系统概述 PAGEREF _Toc465083398 h 6 PAGEREF _Toc465083398 h HYPERLINK l _Toc465083399 2.2 系统建设依据 PAGEREF

3、_Toc465083399 h 8 PAGEREF _Toc465083399 h HYPERLINK l _Toc465083400 2.3 项目建设目标 PAGEREF _Toc465083400 h 9 PAGEREF _Toc465083400 h HYPERLINK l _Toc465083401 2.3.1 提升安全态势感知能力 PAGEREF _Toc465083401 h 9 PAGEREF _Toc465083401 h HYPERLINK l _Toc465083402 2.3.2 提升安全事件的通报预警能力 PAGEREF _Toc465083402 h 9 PAGERE

4、F _Toc465083402 h HYPERLINK l _Toc465083403 2.3.3 提升应急响应能力 PAGEREF _Toc465083403 h 10 PAGEREF _Toc465083403 h HYPERLINK l _Toc465083404 2.4 项目建设原则 PAGEREF _Toc465083404 h 10 PAGEREF _Toc465083404 h HYPERLINK l _Toc465083405 2.4.1 合规性原则 PAGEREF _Toc465083405 h 10 PAGEREF _Toc465083405 h HYPERLINK l _

5、Toc465083406 2.4.2 可落地原则 PAGEREF _Toc465083406 h 11 PAGEREF _Toc465083406 h HYPERLINK l _Toc465083407 2.4.3 先进性原则 PAGEREF _Toc465083407 h 11 PAGEREF _Toc465083407 h HYPERLINK l _Toc465083408 2.4.4 安全性原则 PAGEREF _Toc465083408 h 11 PAGEREF _Toc465083408 h HYPERLINK l _Toc465083409 2.4.5 扩展性原则 PAGEREF

6、_Toc465083409 h 12 PAGEREF _Toc465083409 h HYPERLINK l _Toc465083410 2.5 平台体系架构 PAGEREF _Toc465083410 h 12 PAGEREF _Toc465083410 h HYPERLINK l _Toc465083411 2.5.1 监控需求 PAGEREF _Toc465083411 h 14 PAGEREF _Toc465083411 h HYPERLINK l _Toc465083412 2.5.2 系统原理 PAGEREF _Toc465083412 h 15 PAGEREF _Toc46508

7、3412 h HYPERLINK l _Toc465083413 2.5.3 功能结构 PAGEREF _Toc465083413 h 22 PAGEREF _Toc465083413 h HYPERLINK l _Toc465083414 2.6 Web监控预警系统 PAGEREF _Toc465083414 h 28 PAGEREF _Toc465083414 h HYPERLINK l _Toc465083415 2.6.1 Web监控预警结构设计 PAGEREF _Toc465083415 h 29 PAGEREF _Toc465083415 h HYPERLINK l _Toc465

8、083416 2.6.2 Web监控预警系统功能 PAGEREF _Toc465083416 h 39 PAGEREF _Toc465083416 h HYPERLINK l _Toc465083417 2.6.3 Web监控预警系统可视化 PAGEREF _Toc465083417 h 42 PAGEREF _Toc465083417 h HYPERLINK l _Toc465083418 2.7 被动式监控预警系统 PAGEREF _Toc465083418 h 43 PAGEREF _Toc465083418 h HYPERLINK l _Toc465083419 2.7.1 被动式监控

9、预警系统架构 PAGEREF _Toc465083419 h 43 PAGEREF _Toc465083419 h HYPERLINK l _Toc465083420 2.7.2 被动式监控预警系统流程图 PAGEREF _Toc465083420 h 45 PAGEREF _Toc465083420 h HYPERLINK l _Toc465083421 2.7.3 被动式监控预警系统功能 PAGEREF _Toc465083421 h 46 PAGEREF _Toc465083421 h HYPERLINK l _Toc465083422 2.7.4 被动式监控预警态势展示及其可视化 PA

10、GEREF _Toc465083422 h 52 PAGEREF _Toc465083422 h HYPERLINK l _Toc465083423 2.8 大规模监控预警系统云端系统 PAGEREF _Toc465083423 h 53 PAGEREF _Toc465083423 h HYPERLINK l _Toc465083424 2.8.1 大规模监控预警系统架构 PAGEREF _Toc465083424 h 54 PAGEREF _Toc465083424 h HYPERLINK l _Toc465083425 2.8.2 大规模监控预警系统架构工作原理 PAGEREF _Toc4

11、65083425 h 57 PAGEREF _Toc465083425 h HYPERLINK l _Toc465083426 2.8.3 基于集群是调度器的云监控 PAGEREF _Toc465083426 h 59 PAGEREF _Toc465083426 h HYPERLINK l _Toc465083427 2.8.4 大规模监控预警系统云部署及其规模 PAGEREF _Toc465083427 h 60 PAGEREF _Toc465083427 h HYPERLINK l _Toc465083428 2.9 预警通报处置系统 PAGEREF _Toc465083428 h 61

12、PAGEREF _Toc465083428 h HYPERLINK l _Toc465083429 2.10 威胁情报系统 PAGEREF _Toc465083429 h 61 PAGEREF _Toc465083429 h HYPERLINK l _Toc465083430 2.11 系统管理子系统 PAGEREF _Toc465083430 h 63 PAGEREF _Toc465083430 h HYPERLINK l _Toc465083431 2.11.1 系统管理模块 PAGEREF _Toc465083431 h 63 PAGEREF _Toc465083431 h HYPERL

13、INK l _Toc465083432 2.11.2 用户管理模块设计 PAGEREF _Toc465083432 h 64 PAGEREF _Toc465083432 h HYPERLINK l _Toc465083433 2.11.3 认证管理模块设计 PAGEREF _Toc465083433 h 65 PAGEREF _Toc465083433 h HYPERLINK l _Toc465083434 2.11.4 网站监控管理模块设计 PAGEREF _Toc465083434 h 66 PAGEREF _Toc465083434 h HYPERLINK l _Toc465083435

14、 2.11.5 网站检测管理模块设计 PAGEREF _Toc465083435 h 68 PAGEREF _Toc465083435 h HYPERLINK l _Toc465083436 2.11.6 漏洞验证管理模块设计 PAGEREF _Toc465083436 h 68 PAGEREF _Toc465083436 h HYPERLINK l _Toc465083437 2.11.7 数据分析与审计管理模块设计 PAGEREF _Toc465083437 h 69 PAGEREF _Toc465083437 h HYPERLINK l _Toc465083438 2.12 可视化集中管

15、控中心设计 PAGEREF _Toc465083438 h 70 PAGEREF _Toc465083438 h HYPERLINK l _Toc465083439 2.12.1 安全态势 PAGEREF _Toc465083439 h 70 PAGEREF _Toc465083439 h HYPERLINK l _Toc465083440 2.12.2 平台管理 PAGEREF _Toc465083440 h 70 PAGEREF _Toc465083440 h HYPERLINK l _Toc465083441 2.12.3 安全功能管控 PAGEREF _Toc465083441 h 7

16、1 PAGEREF _Toc465083441 h HYPERLINK l _Toc465083442 2.12.4 信息采集存储 PAGEREF _Toc465083442 h 72 PAGEREF _Toc465083442 h HYPERLINK l _Toc465083443 2.12.5 数据分析 PAGEREF _Toc465083443 h 73 PAGEREF _Toc465083443 h HYPERLINK l _Toc465083444 2.12.6 自动预警 PAGEREF _Toc465083444 h 73 PAGEREF _Toc465083444 h HYPER

17、LINK l _Toc465083445 2.12.7 安全身份识别 PAGEREF _Toc465083445 h 74 PAGEREF _Toc465083445 h HYPERLINK l _Toc465083446 2.12.8 大屏显示接口 PAGEREF _Toc465083446 h 74 PAGEREF _Toc465083446 h HYPERLINK l _Toc465083447 2.13 外部信息交换关系 PAGEREF _Toc465083447 h 75 PAGEREF _Toc465083447 h HYPERLINK l _Toc465083448 3平台部署和

18、设备清单 PAGEREF _Toc465083448 h 75 PAGEREF _Toc465083448 h HYPERLINK l _Toc465083449 3.1设备部署 PAGEREF _Toc465083449 h 75 PAGEREF _Toc465083449 h HYPERLINK l _Toc465083450 3.2 态势感知及检测预警平台功能参数 PAGEREF _Toc465083450 h 75 PAGEREF _Toc465083450 h HYPERLINK l _Toc465083451 3.3 网站安全监测功能参数 PAGEREF _Toc465083451

19、 h 77 PAGEREF _Toc465083451 h 插图索引TOC t 插图标注（盛邦安全） c未找到图形项目表。项目需求分析本次建设XX省无线电监测站态势感知及检测预警平台（以下简称“平台”），实现XX省无线电网站及重要信息系统在集中、批量、智能的技术平台下完成门户网站及重要信息系统的监测、预警的安全目标。通过平台建设直接对网站及重要信息系统的安全呈现安全态势可视化、监测常态化、功能集群化、管理可控化、任务便捷化，在着重监测预警的防患未然的基础上，通过平台建设与安全设备的部署将网站及重要信息系统防护监测预警能力拔高到国内先进水平。通过平台及时有效地监测安全隐患问题并预警，抵御内外部安

20、全威胁及窃密破坏等不法行为，降低安全事故发生率，保障网站及重要信息系统的安全。平台应根据现实需求在具备国产化自主可控产品基础上进行定制化开发。核心技术应具备先进性、项目实施管理应达到标准化级别的项目实施水平。根据各类型安全产品的特性，要求监测、预警、应急功能实现平台化管理，体现平台管理与任务实施的整体性。各项安全任务功能以功能模块形式体现，配合功能型安全设备的统一部署，集中呈现可视化安全态势。项目范围项目监测预警范围：1.XX省3000多个业务系统进行同事检测/检测2.对于主动监测能力要求Web漏洞扫描周期不超过168小时，信息安全事件检测周期不超过8小时。3.对于被动流量监控能够分析40Gb

21、ps的流量监控。4.集中管控平台需求能够支持10个监控分布引擎的管理，具备保存2TB数据的存储能力，允许3000用户的同时登陆管理，还具有“县-市-省”三级管理模型。项目建设目标基于XX省网络安全现状以及利用态势感知及检测预警平台的基础功能、技术指标，设计、建设XX态势感知及检测预警系统，目标能够加强交互性的方式，为安全管理人员提供可视化的系统风险监控和处置，提高风险漏洞和被黑客入侵篡改等安全事件发现、预警的及时性、准确性，以及应急处置能力，使大规模监控工作真正金融智能化和自动化的大数据可视化时代。门户网站安全事件监控系统建设系统概述随着信息化的日渐深入，互联网正在成为国家的关键信息基础设施，

22、各种基于网络的应用也日益广泛，网络安全关系到国家和社会的根本利益。目前，保障互联网络安全以及重要企事业单位的网络安全方面面临一些重大的技术问题：如何及时、准确、全面地掌握整体网络安全状况；如何针对网络安全的整体情况及时准确地做出威胁评估、预警和应对方案的选择；针对网络安全危机事件，如何及时有效地采取相应的危机控制措施等。在中国电子政务发展的过程中，越来越多的核心业务系统开始依托互联网存在；电子政务网站（以下简称政务网站）也不再只是政府俗称的面子工程，越来越多的业务入口存在于政务网站之上，这在方便了电子政务公开、信息发布、便捷办公的同时，也成为了政府网络、信息安全的入口。据权威机构统计，中国的网

23、络安全事件，绝大部分都是由网站为入口，最终造成重大网络安全事故。2014年中央网络安全和信息化领导小组的成立，中国互联网安全被提升到了国家战略的新高度。习近平总书记指出：“没有网络安全，就没有国家安全”。为了应对网络安全问题带来的挑战，国务院办公厅、中国工业和信息化部、中国公安部等相关监督和管理单位相继出台了针对中国政府网站及重要互联网信息系统的安全监督、管理、通报、防控等文件与措施。其中公安部明确要求为了支撑公安网安部门开展网络安全工作，需建设网安全态势感知与通报预警平台系统，通过该系统实时掌握网络安全态势，及时掌握重点部位、重要信息系统相关网络安全威胁、风险和隐患，及时监测漏洞，网络攻击情

24、况，及时发现网络安全案（事）件线索，掌握有关情报和情况信息，及时通报预警重大网络安全威胁，侦查调查、防范和打击网络攻击等违法犯罪活动。北京市目前已经建成等级保护检测机制和相关技术手段，而在重要网站和重要信息系统安全监测方面，还没有有效的针对性的技术手段可以较好地满足业务需要，无法对辖区内系统底数和安全情况进行全面掌握，不能够清晰、准确地判断存在的安全风险，并有效的事先发出预警，发生的安全事件也无法规范有效地进行处理，对通报成员单位和重要信息系统运营使用单位在线重要信息系统和政府网站的监管都是被动接受上级主管部门通知通报，没有主动监测和事前发现漏洞的能力和手段。另外在开展国家级重要信息系统和重点

25、网站安全执法检查工作过程中，发现了许多单位和信息系统存在着高风险的问题，也表明目前监管工作确实需要建立一套能够及时发现问题、及时处理问题的综合处置管理支撑平台。门户网站安全事件监控系统是专门针对网站频发安全事件进行监控预警的系统。主要以各种技术手段对网站的可用性、完整性、安全性进行安全监控，帮助监管部门和门户网站运营单位主动发现问题、及时处理和响应问题。门户网站安全事件监控系统，能够主动监控网站安全问题，监测网站脆弱性。能提供网站监控平台7*24小时不间断监控，保持监控的持续性。突发攻击事件发生时，及时进项响应与处理，构建完善的网站安全体系。对于大范围的网站利用自动化的技术手段进行监控，减低人

26、工成本。系统建设依据2014年5月9日中央网络安全和信息化领导小组下发1号文件关于加强党政机关网站安全管理的通知2015年1月，公安部颁布了关于加快推进网络与信息安全通报机制建设的通知（公信安201521号）。通知要求建立省市二级网络与信息安全信息通报机制，积极推动专门机构建设，建立网络安全态势感知监测通报手段和信息通报预警及应急处置体系，明确要求建设网络安全态势感知监测通报平台，实现对重要网站和网上重要信息系统的安全监测、网上计算机病毒木马传播监测、通报预警、应急处置、态势分析、安全事件（事故）管理、督促整改等功能，为开展相关工作提供技术保障。2015年5月18日，公安部在京召开电视电话会议

27、，专题部署国家级重要信息系统和重点网站安全执法检查工作。公安部副部长、中央网信办副主任陈智敏在会议上强调，各级公安机关要充分认识网络安全的严峻形势和加强网络安全工作的重要性、紧迫性，加强国家网络安全通报机制建设，进一步健全完善网络安全信息通报和监测预警机制建设，确保网络安全执法检查工作取得实效。2015年7月1日，公安部印发了关于组织开展网络安全态势感知与通报预警平台建设工作的通知（公信安【2015】1851号），明确了“网络安全态势感知与通报预警平台建设框架”，确定了建设整体方案指导，并提出2016年底完成省市两级通报平台建设的建设任务。项目建设目标网络安全态势感知与监测预警通报平台按照“统

28、一规划、分级部署、协同共享”的原则，以公安部总体目标为指导，遵循统一的数据接口规范进行数据采集和监测分析，构建部、省、市三级网络安全威胁数据共享与交换机制，形成覆盖全市的网络安全态势感知与预警监测通报体系，推动平台建设和通报预警工作向着标准化规范化迈进，为开展网络与信息安全信息通报工作提供技术保障。提升安全态势感知能力现有的网络安全系统，只重视对于数据的分析发现能力，将研究的重点放在处理速度以及处理能力上。对于数据以及结果的显示则投入的精力不多，造成最终处理数据不直观，从而影响了最终的分析结果。网络与信息安全信息通报预警平台系统底层使用数据融合处理后的数据，是对分析后的数据的深层融合，着重于图

29、形图象的显示方法，侧重于对数据的最终显示效果和系统与软件间的交互，强调显示的直观性和显示的最终效果。该系统的研究有助于提高现有网络安全产品在图形显示方面的能力，提升整体系统的安全分析处理水平。同时网络与信息安全信息通报预警平台的建立能够对安阳地区的互联网网站、在线系统、辖区IP进行全网检测，掌握安阳互联网基础数据、网站的基本信息如网站指纹信息、网站安全、网站数量等情况，并对这批站点进行安全监测，能感知网站、应用、设备的安全态势，帮助公安掌握当前形式下的安全形式、安全问题与各地的安全水平，做到信息安全建设心中有数。提升安全事件的通报预警能力虽然已有网络安全产品与算法的改进和处理速度的提升，但是无

30、法解决其固有矛盾。无论是基于异常检测，还是基于误用检测，都不能解决漏报、误报的问题。网络与信息安全信息通报预警平台系统，通过将分析数据的图形化显示，结合原始数据，实现对网络数据的可视化分析，借助于人类强大的图形图像处理能力以及分析能力，大大提升该系统对于异常行为的发现能力，降低系统的漏报与误报能力，并可对有较明显特征的攻击行有一定的预先发现能力，做到“有备无患”，打造安全的网络系统。具体可以从以下几个方面提升安全事件的通报预警能力：0day漏洞的定向预警，对有该漏洞的单位进行预警，避免发生安全问题；攻击事件的通知与相关网站的预警，如境外黑客对我国政府网站发起的网络攻击与篡改攻击等事件，能够进行

31、定向预警，促进各单位部署防御；对全国各地爆发的安全问题进行分析，同步预警至我市各单位对应系统，通知相关单位做好提前防范；对我市发现的攻击行为进行分析，同步预警各单位，做好提前防范。提升应急响应能力网络与信息安全信息通报预警平台系统的使用，能够提升现有网络安全产品的性能，增强了网络的综合防护能力。安全可视化分析的数据大都来自现有网络安全产品，获取不同层次的处理信息，形成全方位的安全数据，通过可视化的数据融合，综合考虑各方面因素，可以得到更加准确的网络信息。同时各安全系统问的协同分析，还可以做到“监”、“管”、“控”于一体的网络安全系统，简化网络安全的处理环节，提升网络安全防护等级。项目建设原则合

32、规性原则按照“统一规划、分级部署、协同共享”原则，建设形成部、省、互联互通的通报平台，构建覆盖全市的网络安全态势感知、安全监测和通报预警体系。平台设计完全遵循公安部整体框架和数据标准。可落地原则平台建设规划符合我市实际情况，综合考虑业界的统一安全监测、预警等技术的形势，综合考虑本地网安部门工作中的具体需求，确保建设方案具备可实施、可落地性。先进性原则平台可在种类繁多、数量庞大的多样数据中进行快速信息获取，在合理时间内达到撷取、管理、处理、并整理。通过平台提供的有效的分析方法和工具，从海量信息中快速提取高价值数据，避免重要信息淹没在海量的低价值数据中。使用基于大数据的数据仓库技术对历史数据进行分

33、析，结合多种数据挖掘算法，为安全分析人员提供有价值的安全分析决策支撑数据。具备异构数据间的关联分析能力，具备从事件到流量元数据到原始流量和文件的对应和关联分析。在展示层提供丰富的可视化展示功能和组件，可视化展示安全分析人员重点关注的信息，将重要和可疑的数据以醒目的方式展示。安全性原则依据平台本身数据存放以及通信的特征，平台划分为网安专网系统与互联网系统。互联网系统用于采集平台所需各种安全数据，发布互联网预警通知。网安专网系统用于数据存贮与提取分析，同时提供上下级平台数据传输接口。互联网系统与专网系统物理隔离，仅支持数据单项导入。扩展性原则平台还提供丰富的对外接口，方便采集第三方系统产生的安全数

34、据，包括第三方分析系统，展示系统和安全工具等。平台体系架构按照总体规划，信息安全态势分析与通报平台建设，通过网安专网地市可与省、部平台进行数据对接。如下图所示：图STYLEREF 1 s2SEQ 图 * ARABIC s 11：三级平台对接示意图市公安局信息安全态势感知与通报平台通过网安专网向省级平台上报本地安全态势、安全风险等数据信息；接收来自部级平台下发的各项通报数据及线索信息。网络安全态势感知与监测预警通报平台包含公共网络安全事件采集层、数据预处理层、公共网络安全事件数据中心、业务分析处理层、业务功能层，如图2-2所示。图STYLEREF 1 s2SEQ 图 * ARABIC s 12：

35、平台体系架构图STYLEREF 1 s23：平台主要构成公共网络安全事件采集层：通过集成各种工具采集互联网范围内的资产、威胁、弱点、流量等数据信息。同时提供工具管理、任务管理等功能。数据项处理层：对下层采集的数据进行数据清洗、数据归并、数据关联、比对，进行数据标识后传入数据中心层处理。数据中心层：提供基础数据库存储与管理功能。主要完成安全威胁事件库、重大安全隐患库、网络基础资源库、木马/僵尸库、联网重要系统和网站安全信息库、攻击个人/组织库等六大基础数据库的标准化存储与管理。业务分析处理层：完成业务分析模型创建与管理。可实现风险分析，态势感知任务的创建与管理，完成相关数据的上报与下发。实现数据

36、的可视化展示。展示正在发生的安全行为，态势数据，安全风险等相关信息。业务功能层：实现网安部门安全监测、态势分析、通报预警、线索挖掘和调查处理等业务处理功能。监控需求随着互联网技术的快速发展，网站攻击的门槛不断降低，重点单位门户网站（三台四网和多家在京主流网络媒体等）的web应用受到的安全威胁越来越多。为保证门户网站的Web应用系统的正常使用，应实现以下基本安全需求：监控Web应用页面内容完整、不被篡改；监控Web应用存在的SQL注入、XSS、非法访问、信息泄露等应用层漏洞，从而提前解决潜在风险；监控Web应用服务器可能存在的系统级漏洞，提前杜绝系统威胁；监控Web应用，防止Web应用挂马而导致

37、的潜在风险；监控Web应用是否存在敏感信息，对于Web应用的敏感信息内容自行配制告警功能，方便管理者及时了解到发生的安全事件，可根据量化的标准，对Web应用的安全事件严重程度进行不同形式的告警，独具可能存在的风险和损失；以监控为主，必要时进行干预，防止意外事情发生；能定期生成每个Web应用的报表，关联趋势性分析；让管理员及管理者清晰地分析出Web应用当前的安全状况及趋势，可以作为信息安全建设决策分析依据；对不同的管理员授权相应范围内的管理，大致分为高级管理员、普通管理员及日志审核员。能分级管理管理，从而能“全面感知”应用和服务。系统原理爬虫技术当前的爬虫程序根据其实现技术，可分为通用爬虫和主题

38、爬虫，通用爬虫爬取根 URL 衍生的所有网页，主要被门户网站等大型 Web 服务提供商采用。主题爬虫则选择性的爬取和预设主题相关的网页。一般来说，主题爬虫比通用爬虫更能满足用户对某一特定领域的信息需求。网络爬虫在基于网络的Web漏洞扫描器中，是重要的基础功能模块，其获取目录结构及分析HTML源码的效率，将直接影响系统的准确性和执行效率，而传统的扫描器中的爬虫程序，只是简单的在通用爬虫的基础上采用稍作改进的广度优先遍历算法，对HTML的解析则采用确定的有限自动机，而由于这样的爬虫程序并未考虑Web站点中目录结构的特点和动态交互点的分布规律，使得爬虫程序抓取了大量无用的页面，对HTML的解析也并不

39、准确，从而降低了整个扫描器的性能。本文采用针对 Web 漏洞检测特定需求设计的表单爬虫，来构建整个Web漏洞扫描系统，以提高其性能。表单爬虫程序的功能可分为三个，一个是站内新站点搜集，使用自适应窗口策略；另一个是表单搜集，采用导航链接策略；以及 HTML 解析器，采用正则表达式。表单爬虫的工作流程为：首先从目标站点的根 URL 开始，使用自适应窗口策略搜索新站点，将其保存。再以保存的新站点为单位，使用导航链接策略搜索每个站点中的有效 URL ，将其保存。最后依次取出保存的 URL ，利用HTML 解析器提取出表单信息。基于自适应窗口策略的新站点搜集在搜索新站点的过程中发下如下规律：即往往沿着包

40、含较多新站点的页面往下搜索，可以搜索到更多的新站点，因此，根据此规律设计自适应的窗口搜索策略，以使得爬虫程序在兼顾页面覆盖率的同时，提高其搜索效率，自适应窗口策略的大致思路是给爬虫程序设置门阀值，若某些页面中包含新站点的数量小于此门阀值，则停止对其搜索，以节省搜索时间，若大于或等于此门阀值，则沿着这些页面继续搜索。如下图：图4-15自适应窗口的表单爬虫示意图图中节点表示网页，其数字表示包含的新站点数，箭头表示链接，C 表示门阀值，W 表示窗口大小，窗口大小指的是相邻的兄弟节点数，其搜索流程为：若窗口中的兄弟节点的新站点数的总和大于或等于门阀值，则此节点的孩子节点将被搜索，否则，将窗口移动一个节

41、点，在窗口中重复以上过程，整个过程采用广度优先，直到搜索到规定的深度为止。根据以上描述，图示中的搜索过程为：从根节点A 开始，窗口里的节点首先是 B 和C，由于B 和C 中包含的新站点总数为 4，小于门阀值 5，则将 B 的子节点舍弃，窗口移动一个节点，此时C 和D 节点在窗口中，由于 C 和D 节点中的新站点总数为 5，等于门阀值，则C 和D 的子节点将被搜索，窗口再移动一个节点，由于 D 和E 的值不符合条件，E 的子节点将被舍弃，窗口进入下一层节点，重复上述过程 G 和H 的子节点将被搜索，直到达到规定的搜索深度为止。基于导航链接策略的表单搜集表单是漏洞检测的重要动态交互点，爬虫程序对表

42、单的获取效率很大程度上决定了整个系统的运行效率，表单爬虫对表单的提取采用导航链接策略，该策略基于如下事实：很多表单位于WEB站点的浅层页面，比如入口页面，且沿着导航链接搜索，往往可以搜索到大多数的表单，所以表单爬虫采用导航链接策略，沿着导航链接搜索表单，可以忽略很多无用的页面，节省时间，提高系统效率。导航链接在页面上的分布遵循以下规律：导航链接在页面 HTML 中的显示格式和其它的链接有明显不同，呈现规则性，且导航链接往往在很多页面里反复出现，因此可以根据此规律将特定显示格式且反复出现的链接判定为导航链接。根据以上分析，根据以下两个步骤判定页面中的导航链接。步骤1：首先根据下列分布规律计算式计

43、算出页面中的链接 Rank值：将一个页面中的所有链接提取出来，记为集合A，将所有连续水平或垂直排列三个以上链接的链接组记为 K ，将集合 A 划分成多个互不相交的链接组，对每个链接组采用以上公式计算Rank值。其中，size(k) 表示该链接组中的链接数量；anchorttext(k) 表示链接组中锚文本字数占总字数的比值；dist(k) 为链接组在页面上离边界的距离；W(s) 、W(a)和W(d)则分别是size(k) 、anchorttext(k) 和dist(k) 在计算Rank值时所赋予的权重，当其取 1:1:2时，能得到最准确的Rank值。步骤2：取出页面中 Rank值排名前三的链接

44、组里的链接，记作 U，顺着U 访问其链向的页面，将该页面记作 P，若在页面 P 中也存在链接 U，则可判定U 为导航链接。基于正则表达式的HTML解析器HTML 和XML不同，XML格式的内容严格按照标签匹配的方式构造，因此，只要严格通过标签匹配就能解析到想得到的任何内容，而HTML 不同，它并没有严格的配对标签，这就给解析带来了较大的困难，传统的 HTML 解析器是通过确定性的有限自动机（DFA ）解析HTML 页面的，但是这种方式效率低下，特别是对表单等漏洞扫描最关注的动态交互内容不能达成满意的效果，因此，本文采用正则表达式来提取出页面中的 URL 和表单等有价值的信息，具体如下：URL

45、提取在页面的HTML 中，标签、中都有可能存在URL ，因此需要针对每个可能存在 URL 的标签定义一个正则表达式，以解析其中各种属性，提取出URL ，以标签为例，其基本格式为a*href=”URL”*，（各种属性用*号代替）。其正则表达式为：在用正则表达式提取出 URL 后，还需对其进行填充处理，使之成为完整的绝对路径。表单提取以标签为例，表单的基本格式为*action=”URL” method=* 对表单的提取采用以下四个步骤：步骤1：将整个表单内容用以下正则表达式提取出来步骤2：提取出表单中如 action、method 等属性步骤3：提取表单中各项属性的属性值，如 input、text

46、area 等的 name、type 等值基于沙箱检测和静态规则匹配相结合的木马检测技术作为Web检测引擎，提高引擎检测准确性，降低误报率是考核扫描器引擎的重要指标。同时，以云模式部署扫描引擎之后，最重要的就是及时和准确的收集木马、漏洞等信息到管理中心。当前常用的手段就是通过网络爬虫收集信息，其缺陷就是对未知的漏洞不能识别，从而延误防护。沙箱技术是解决此问题的重要方法。所谓沙箱环境模拟了一个浏览器的环境，通过沙箱环境访问爬虫爬出来的url，来检测该页面是否被挂马，这种技术由于模拟了真实的环境，因此误报率基本为零，但是由于沙箱环境中浏览器插件配置的局限性，无法检测所有的挂马页面，因此会产生一定的漏

47、报率。因此我们结合了多年研究的挂马方式的规则库的检验，大大减少了Web应用挂马的漏报，为Web安全云提供及时、准确的规则积累。高性能模式匹配技术“运行速度”是衡量系统性能的一个重要的指标。模式匹配技术是攻击检测的最重要的技术，系统近半数甚至更多的CPU资源会耗费在模式匹配上，因此一个高效的模式匹配技术至关重要。国内外，多数厂商均采用PCRE 的NFA查找技术。“NFA”即非确定有穷自动机，对于一个给定的输入可能有多个状态输出，其优点是编译速度快，编码空间占用小；其缺点是匹配速度不稳定，速度较慢。而有些厂商采用的是“DFA”确定有穷自动机，“DFA”对于给定的一个输入，只有一个特定的状态输出。其

48、特点是匹配速度稳定，匹配速度快，但存在内存占用的指数膨胀问题。实际应用中，模式串的内存占用过大，导致系统无法应用。为此项目单位提出了DFA的压缩和优化算法，即采用DFA技术，并且使用了Bitmap方式对于DFA压缩与合并，解决了DFA空间占用大的问题，大大提高匹配速度，从而提高了整体的系统运行的性能。从而在牺牲少量处理性能的情况下，极大的降低了系统内存占用。高效的分布式体系架构集群是调度器是一个分发任务的程序框架，可以用在各种场合，与Hadoop相比，集群是调度器更偏向于任务分发功能。它的任务分布非常简单，简单得可以只需要用脚本即可完成。集群是调度器最初用于LiveJournal的图片resi

49、ze功能，由于图片resize需要消耗大量计算资源，因此需要调度到后端多台服务器执行，完成任务之后返回前端再呈现到界面。在本项目中，我们基于扫描器特性，修改和开发了针对集群是调度器的结构，使之更能适应分布式扫描体系构建。功能结构门户网站安全事件监控系统的功能结构如下图所示：图门户网站安全事件监控系统功能结构图门户网站安全事件监控系统采用主动模型与被动模型结合的监控模式。对于主动监控，监控模型如下图所示:监控提供从物理层到应用层的全范围检测，规避因为数据库、中间件、操作系统等不安全的因素导致的问题。主动监控模型，采用全栈监控模式，对系统不同层面面临的安全问题进行检测。Web漏洞扫描监控服务目前该

50、系统支持远程OWASP定义的Web威胁和及其相关的漏洞扫描监控服务。通过远程的网站漏洞扫描服务，由安全专家定期进行网站结构分析、漏洞分析，即时获得网站的漏洞情况，以及修补建议。网站防钓鱼监控服务防钓鱼系统只针对Web业务处理进行监控服务。基于云计算技术（SaaS），具有先天的防钓鱼有事。通过构建可信URL数据库、IP信誉和自动化的扫描辅助以人工确认等综合手段，从而构建高效、准确的反钓鱼监控系统。网页木马监测服务基于“云安全”平台，采用业内领先的一体化挂马检测技术，高效、准确的识别网站页面中的恶意代码，从而使的网站管理员能够第一时间感知网站的安全状态，及时清除网页木马，避免给用户带来安全威胁，继

51、而影响网站信誉。远程网页篡改监测服务对页面篡改监控提供二种模式处理：对于网站结构或者属性单一的用户，提供基于防护的篡改监控防护模式。用户可以根据自己情况，从管理中心下载与其服务器相对应的防篡改客户端，安装在自己服务器上，和管理中心互联，完成”监控-防护”的功能；基于扫描的网页篡改监控服务。通过远程实时监测目标网站页面的信息，一旦发现页面被篡改情况，第一时间通知用户。用户可根据提供的安全建议及时修复被篡改页面，避免篡改事件影响扩散，给自身带来声誉和法律风险。网页敏感信息监测服务远程实时监测目标站点页面状况，发现页面出现敏感关键词，第一时间通知用户。用户可参考提供的安全建议及时删除敏感内容，避免事

52、件影响扩散，给自身带来声誉和法律风险。用户也可以自定义所关心的敏感关键词。内容监控引擎能对网站存在的敏感信息进行检测，并且可以检测不少于4种类型的敏感信息，同时，还能够支持自定义倒入敏感信息，并能够自定义设置不同级别的检测敏感度，提升检测的灵活性及判断的准确率。网站应用监测服务应用监控主要涉及以下指标：网站可用性、网站从不同线路来访问得速度情况、网站响应时间，从而判断是否能达到最优、最安全的服务质量。通过监测系统，远程实时监测目标站点在多种网络协议下的响应速度、首页加载时间等反映网站性能状况的内容，一旦发现网站无法访问，第一时间通知用户。可用性监控引擎能同时检测网站的HTTP、DNS、PING

53、响应，提供自定义的安全阀值，从而为网站快速诊断提供帮助；同时，能够计量服务器掉线等安全事件发生的频率、时间段，并提供报警操作。HTTP监控通过自定义阈值探测网站页面的HTTP响应速度，以此为依据判断网站的可用性，从而实现监控功能。DNS监控通过自定义阈值探测服务器的DNS响应速度，从DNS服务响应的角度判断网站的可用性，从而实现监控功能。PING监控通过自定义阈值探测站点地址的PING响应速度，以此为依据判断网站的可用性，从而实现监控功能。域名监测(DNS)服务远程实时监测各地主流ISP 的 DNS 缓存服务器和用户DNS 授权服务器的可用性，以及它们对被监测域名的解析结果情况。一旦发现用户域

54、名无法解析或解析不正确，第一时间通知用户。用户可参考提供的安全建议恢复域名正常解析，避免域名不可用给访问者带来不好的体验。暗链监控监控引擎能提供对网站的隐藏链接、非法链接检测的功能。用户可以自定义添加信任链接地址。系统漏洞扫描可针对网络主机（如网络打印机、服务器、客户机等）、网络设备（Cisco、3Com、Checkpoint等主流厂商网络设备）、操作系统（Microsoft Windows 9X/NT/2000/XP/2003、Sun Solaris、HP Unix、IBM AIX、IRIX、Linux、BSD和国产麒麟操作系统等）以及应用系统等进行漏洞扫描检测。数据库漏洞扫描可以针对当下主

55、流的数据库，如Oracle、MySQL、DB2、PostgreSQL、sybase、SQL Server等进行漏洞检测。弱口令检查平台提供弱口令检查引擎，可以基于调度任务对网站进行远程自动扫描，获得所述网站的用户信息，包括：用户名、密码，然后一方面同弱口令字典中的弱口令进行匹配；另一方面使用获取到的口令进行模拟登陆验证，从而实现弱口令检查功能。能对支持telnet, ssh, rdp,http, https, oracle, mysql,oracle-sid, redis，mongoDB的弱口令进行安全检测，一旦发现问题，快速处置。WebShell检测（流量监测+特征检测）监测预警平台提供的W

56、ebShell检测引擎，可配合部署在终端的安全组件，对系统后台的非法操作、异常函数调用及异常指令执行进行监控判断，识别WebShell攻击。同时，通过与Web应用防护系统的联动，一方面对非法的试探攻击进行阻断，另一方面对WebShell的非法上传进行阻断，并且进行持续监测和实时告警功能。安全威胁情报定期提供面向Web的安全漏洞、安全咨询以及Web攻击趋势分析报告，便于掌握并且规避相关安全问题。主要提供： 1) 针对安全漏洞的分析和修复方案； 2) 重大事件之前的安全预防以及相关通告； 3) 定期关于网站威胁的分析报告，同时及推送国内的重大安全事件； 4) 更新针对Web的威胁库，提供及时有效的

57、预警服务。IP地址扫描（资产、漏洞发现）平台IP地址扫描（资产、漏洞发现）平台是以IP资产、网络安全设备（防火墙、IPS、WAF等）、路由设备、交换设备、计算机外围设备（WIFI、打印机、扫描仪等）为核心，进行资产识别，以Web应用、数据库、操作系统、软件的安全检测为核心，弱口令、端口与服务探测为辅助的综合资产漏洞探测系统。实现分布式、集群式漏洞扫描功能，缩短扫描周期，提高长期安全监控能力。通过B/S框架及完善的权限控制系统。IP地址扫描侦测引擎利用基于指纹库的网络设备组件识别技术，进行网络设备信息采集。提供不低于3000万个IP地址全部资产识别和漏洞发现，在百兆带宽下不多于40天，采用500

58、兆以上带宽时，系统平均识别和发现时间不多于15天。Web监控预警系统图 Web漏洞扫描预警监控系统体系结构图Web监控预警结构设计网络爬虫系统结构设计基于网络的WEB应用漏洞扫描的系统的核心模块进行了设计，该设计的后台主要模块可分为四个：控制调度模块、网络爬虫模块、扫描功能模块和数据库。在此论述系统的设计思想及相关的技术原理，其各模块的工作关系如下图。图 Web漏洞扫描预警监控系统模块关系图控制模块控制调度模块，既是控制整个系统执行顺序的模块，一般的小型系统可以将控制调度的逻辑直接写进代码中，这样，系统就能严格按照代码的顺序执行相关的功能，但是如若系统增加了一个功能或者删减了一个功能，就需要对

59、调度的代码做直接修改，对于一个注重扩展性的系统而言，这显然是不合理的，当一个系统经常做功能上的修改，这种方式将浪费掉大量的时间和精力，抬高了系统的维护成本，本文设计的系统的特点之一便是扩展性强，所以本系统将调度模块和其它模块解耦，调度模块只从配置文件获得各个模块的执行顺序，而一旦有模块的增加或删减，也只对配置文件做修改，这样就避免了模块之间的耦合，提高了系统的扩展性。其工作流程如下图。图 控制模块工作流程图第一步：加载系统和数据库的配置文件，获得运行参数。第二步：根据配置文件获得的参数，将http 访问、数据库、和线程池等系统运行的公共组件进行初始化。第三步：根据获得的运行参数及调度顺序，后台

60、各功能模块顺序执行。配置文件模块为了使各个模块之间的解耦，本系统运行中用到的可变参数均通过配置文件的形式给定，根据本系统的架构，需用到的配置文件有：Config.xml、SysConfig.xml、CrawlConfig.xml 、LoginSequnce.xml、DataBaseConfig.xml、ScanTemplate.xml。所有配置文件均采用XML格式给出。其中，Config.xml 是系统启动时加载的第一个配置文件，但其并未提供具体的配置，而是罗列了其它所有配置文件的路径，系统通过读取 Config.xml，可依次加载各个配置文件；SysConfig.xml 可配置系统的运行参数