安全hcnp课件security v2.0cssn第四章web过滤技术

修订记录课程编码适用产品产品版本课程版本ISSUEHC120330004UTMV3R1V1.0开发/优化者时间审核人开发类型（新开发/优化）余雷2012/08/24姚传哲优化本页不打印第四章WEB过滤技术目标学完本课程后，您将能够:了解WEB过滤技术基础知识；了解常见的WEB威胁；熟悉WEB过滤关键技术；掌握WEB过滤技术应用。目录WEB过滤技术概述WEB过滤关键技术WEB过滤技术应用WEB过滤技术WEB过滤技术是一种针对WEB漏洞、WEB分类等进行深度检测然后进行访问控制的安全上网管理技术，包括：URL过滤搜索关键字过滤基于WEB内容过滤恶意网页URL过滤WEB相关威胁及问题僵尸和病毒等威胁账号、密码等机密信息泄漏带宽占用，工作效率降低法律风险恶意网站恶意网站产生的威胁：盗窃游戏、网银账号远程控制僵尸网络隐私泄露商业威胁每天持续有新的恶意网站增加，高峰时>2万个/天华为云安全系统检测恶意网站地域分布TOP10漏洞网页挂马恶意站点利用浏览器漏洞利用插件漏洞链接其它恶意站点恶意软件木马下载器后门蠕虫…恶意广告盗取网游帐号盗取IM帐号盗取银行帐号成为肉鸡…$$$Step1Step2Step3Step4Step6Step5Step7目录WEB过滤技术概述WEB过滤关键技术2.1网站URL过滤技术2.2搜索关键字过滤技术2.3WEB内容过滤技术2.4恶意网页检测关键技术WEB过滤技术应用员工员工员工暴力网站色情网站视频网站业务网站购物网站新闻网站……Internet机构员工不受控地访问网站资源，将可能：严重降低员工的工作效率浪费企业网络带宽资源从恶意站点引入病毒、木马等进入内网带来版权、政治等法律风险大量色情、暴力信息影响人们的身心健康随着互联网的普及，网络信息与日俱增，大量娱乐、商务信息吞噬人们的宝贵时间防火墙URL过滤必要性Internet机构内网员工A员工C员工B

1.用户访问2.TCP3次握手建立连接3.浏览器发送HTTPGet请求4.设备截获HTTPGet请求，检测是否合法防火墙5.合法，则放行请求，用户可浏览对应网站6.不合法，设备可以直接断开TCP连接7.不合法，设备可以推送告警页面后断开TCP连接URL过滤原理？name=tom&age=20pathhostnamequery[:port]URL地址结构Internet上的每一个网页都具有一个唯一的标识，称为URL（UniformResourceLocator）地址URL匹配方式匹配方式条目匹配结果前缀匹配

匹配所有以开头的URL，如：、/solutions.do后缀匹配aspx匹配所有以aspx结尾的URL，如：、关键字匹配

匹配所有包含的URL，如：www./news/solutions.aspx、www./it/精确匹配

只匹配。/solutions.aspx、/en/等不会匹配该条目参数匹配a-param匹配所有参数中包含a-param的URL，如：$%%a-param^&、，但是不会匹配、URL黑白名单支持的匹配方式黑白名单过滤匹配方式白名单黑名单前缀匹配支持支持后缀匹配支持支持关键字匹配支持支持精确匹配支持支持参数匹配不支持支持URL审计Internet机构内网员工A员工C员工B防火墙

eLog服务器URL分类过滤黑白名单URL自定义分类URL预定义分类第三方分类服务器InternetURL分类过滤技术URL策略描述销售部URL控制……研发部URL控制……总工办URL控制……研究部URL控制………………分类名称动作新闻阻断政治允许色情阻断暴力阻断…………分类名称动作体育阻断友商允许搜索允许游戏阻断…………每条URL策略定义了分类的处理动作根据自定义分类或者预定义分类，用户可以创建多个URL策略URL分类过滤技术实现过程Internet机构内网员工A员工C员工B

防火墙分类服务器URL过滤总体流程URL分类服务器WEB服务器UNTRUST用户TRUSTUSG50001.HTTP访问请求2.URL白名单放行3.URL黑名单阻断4.本地自定义分类URL控制策略阻断放行5.远程预定义分类URL控制策略阻断放行未匹配任何策略的处理方式阻断放行分类查询返回分类目录WEB过滤技术概述WEB过滤关键技术2.1网站URL过滤技术2.2搜索关键字过滤技术2.3WEB内容过滤技术2.4恶意网页检测关键技术WEB过滤技术应用搜索关键字过滤概念搜索关键字过滤技术是指对指定搜索关键字进行过滤，控制内网用户的搜索内容，防止用户获得敏感信息。搜索关键字过滤原理UNTRUSTTRUST用户WEB服务器搜索关键字策略执行过滤策略信息推送在用户端发起搜索请求搜索关键字过滤流程http轻量级引擎送入URL部分数据分离host和page部分检测覆盖的搜索引擎?找到关键字参数的位置提取关键字搜索关键字状态?状态机匹配命中?查找命中对应动作返回动作给http轻量级引擎YN放行YYNN目录WEB过滤技术概述WEB过滤关键技术2.1网站URL过滤技术2.2搜索关键字过滤技术2.3WEB内容过滤技术2.4恶意网页检测关键技术WEB过滤技术应用WEB内容过滤技术介绍Web内容过滤对用户访问Web页面的内容进行控制。网页浏览关键字HTTPPOST过滤HTTPPOST文件过滤上传/下载文件名关键字上传/下载文件类型关键字文件大小过滤WEB内容过滤原理用户发起上传附件的操作，触发发送HTTP报文。HTTP报文经过防火墙时，防火墙会对其进行过滤：如果匹配上传文件名关键字策略，执行过滤策略（阻断或告警）；同时可以选择向用户推送Web页面，提醒用户访问受限。如果没有匹配上传文件名关键字策略，则允许该HTTP报文通过。用户可以正常上传该文件。WEB内容过滤－网页浏览关键字过滤UNTRUSTTRUST用户WEB服务器策略：若网页中包含“XXXX”，那么将阻断（告警\不处理）用户浏览该网页。1、首先用户端发起浏览请求2、数据流给过防火墙时，检索将要浏览的网页中是否包含“XXXX”3、将检索的结果与访火墙上已定义好的策略进行匹配，如果检索到“XXXX”，那么将阻断用户访问此网页，并向客户端推送信息；如果没检索到“XXXX”，就将流量放行。WEB内容过滤－HTTPPOST过滤UNTRUSTTRUST内网用户策略：若HTTPPOST中包含“XXXX”,那么将阻断（告警\不处理）HTTPPOST操作；1、首先用户端发起HTTPpost请求2、数据流经过防火墙时，检索HTTPpost内容中是否包含“XXXX”3、将检索的结果与访火墙上已定义好的策略进行匹配，如果检索到POST内容中包“XXXX”，那么将阻断用户HTTPPOST请求，并向客户端推送信息。如果检索到POST内容中包“XXXX”，将对流量进行放行InternetWEB内容过滤－上传/下载关键字过滤上传/下载关键字包括：文件名，可以是任何文件名称；文件类类型，如：doc、mp3等；UNTRUSTTRUST内网用户通过防火墙可以定义阻止特殊的文件名称或文件类型通过InternetWEB内容过滤－文件大小过滤文件大小过滤技术主要是针对文件的大小进行WEB内容过滤，当文件超过规定的大小时，将阻断（告警\不处理）文件上传或下载业务，如果小于或等于该文件大小时，将放行文件。UNTRUSTTRUST内网用户定义超过了文件规定的大小时，将阻断（告警\不处理）文件上传或下载业务；InternetWeb内容过滤流程目录WEB过滤技术概述WEB过滤关键技术2.1网站URL过滤技术2.2搜索关键字过滤技术2.3WEB内容过滤技术2.4恶意网页检测关键技术WEB过滤技术应用网络爬虫技术

恶意网页检测特征库比对安全沙箱

恶意网页解密恶意网页还原启发式行为识别恶意网页检测关键技术恶意网站的识别方式网页代码静态指纹检查网页启发式行为分析识别页面存在恶意特征代码解析分析恶意行为在沙箱中进行识别检测模块检测技术识别方法恶意网站识别方法—特征库特征是一串特定的字符串，采用特征比对的方法分析速度快，分析结果准确明晰，能达到检测网页是否存在恶意代码的目的。挂马工具产生代码黑客编写挂马页面常用手段挂马页面分析人员进行特征分析恶意URL特征库恶意网站识别方法—反变形变形是恶意网页通常采用的自我隐藏方法，达到躲避特征检测的方法，因此在特征分析之前要将这些变形的网页首先进行反变形还原；变形的挂马页面对变形页面进行还原一些转换函数关键函数进行替换多页面拆分手动增加变型代码使用工具对代码变形．．．对变形页面进行还原对页面进行检测恶意网站识别方法—页面解密加密同样是恶意网页通常采用的自我隐藏方法，采用脚本加密的方法将网页内容变得面目全非，达到躲避特征检测的方法，因此需要对页面进行必要的解密；加密后的挂马页面对变形页面进行还原自定义的加密方法使用脚本自带的

加密函数进行加密使用工具对代码加密．．．对加密页面进行解密对页面进行检测页面加密方式恶意网站识别方法—ShellcodeShellcode是一段缓冲区溢出代码，通常和ActiveX插件配合使用，用来溢出具有漏洞的计算机，达到黑客控制目的，一段Shellcode会被多个恶意网页引用，网页中是否存在shellcode是判断是否恶意网页的重要标准。使用未公开的shellcode

进行缓冲区溢出使用公开的shellcode

进行缓冲区溢出对已知shellcode和

插件特征进行检测对疑似shellocde溢出

进行沙箱检测Shellcode使用方式恶意网站识别方法—行为检测

网页行为是指网页在计算机上被解释执行后可能产生的动作，比如操作文件，读写注册表等，对某些特定行为的检测可以明晰的界定一个网页是否存在恶意代码。对部分目录写文件操作进行监控沙箱检测对文件执行进行监控对网络GET行为进行监控

．．．对关键注册表进行监控目录WEB过滤技术概述WEB过滤关键技术WEB过滤技术应用WEB过滤技术应用场景介绍安全设备安全设备安全设备合作伙伴分支机构内部网络TRUST域企业内部网络企业总部(>500人)外部网络开启防火墙、web过滤功能UNTRUSTURL的远程预定义分类服务器DMZ域部署各种应用服务器WEB等应用服务器群VPN隧道VPN隧道WEB过滤技术应用功能列表提供WEB过滤的豁免IP地址集；根据本地配置的黑白名单进行WEB过滤；根据自定义分类进行WE