安全即服务v0.2(阿里巴巴-李剑彪)

1、Security as a serviceSecurity as a serviceAuthor:JianBiao.LiSecurityTeam Design u安全服务需求u安全服务内容u安全服务平台u安全服务协作u阿里安全服务交流内容交流内容需求需求-安全服务层次图安全服务层次图l 存储问题， 阿里云一个小系统的数据统计：平均每天分析220亿PV，产生62亿URL，需要2.2T磁盘空间。安全工具和安全服务不在一个量级，大量需要处理分析数据带来了挑战l 集中控制问题，Qps, ConcurrentConnects, Dns解析，Cookie共享，配置分发等问题l 主动检测流程的公用问题，Ht

2、ttpRequest-HttpResponse-Matchl 调度问题，负载均衡，错误恢复，状态监控等等l 报表l 安全服务协作需求需求-安全服务问题安全服务问题需求需求-安全服务需要航母安全服务需要航母u安全服务需求u安全服务内容u安全服务平台u安全服务协作u阿里安全服务交流内容交流内容内容内容-构建安全服务构建安全服务l统一安全主动检测运行平台l统一安全大数据存储l统一安全监控服务l统一安全服务接口l安全数据离线分析l安全服务子系统间协作主动检测和在线防御监控服务和在线防御数据分析和在线防御数据分析和主动检测u安全服务需求u安全服务内容u安全服务平台u安全服务协作u阿里安全服务交流内容交流

3、内容平台平台-安全服务运行平台安全服务运行平台平台平台-安全数据流图安全数据流图平台平台-数据来源数据来源途径途径优势优势劣势劣势流量镜像覆盖广，低侵入性性能问题，包分片Web日志应用方真实数据收集困难，遗漏关键信息爬虫主动爬取高侵入性，爬取限制WAFhttp 请求完整，可以抓超长url串联系统，抓包影响正常业务平台平台-数据存储数据存储数据类型数据类型容量容量存储位置存储位置Url条数为亿级大小为T级Hive , HbaseDomain条数百万级HbaseStatisfical/Distribution条数千万级Hive, HbaseResult条数百万级DBMSCache大小为G级Memc

4、ached平台平台-数据批处理平台数据批处理平台:平台平台-批数据处理批数据处理Job类型类型作业内容作业内容依赖关系依赖关系基础类Url去重，过滤，链接反转，页面解析, Url安全PageRank计算无统计分布类PV/UV的计算,某个目的主机的Qps计算, User-Agent的分布统计BaseJob安全分析类Webshell,挂马链接回溯，漏洞分析，规则训练，页面语意分析BaseJob平台平台-流数据处理平台流数据处理平台流数据处理平台流数据处理平台特点特点定制平台灵活控制storm需要规划好任务执行的TopologyYahoo s4!Actor模式，对等任务执行引擎l横向扩展l负载均衡l

5、错误恢复l任务迁移l集中控制l引擎异构平台平台-流数据处理平台流数据处理平台Storm调度调度 基于url粒度来检测，不是以任务为粒度来检测检测过程是无状态的，上下文就是当前url及相关资源 需要依据Url的安全等级，做优先级调度队列 检测过程尽量共享，减少对目标的侵入，减少 我们自身的资源损耗平台平台-流数据处理流数据处理平台平台-流检测的集中控制流检测的集中控制平台平台-流检测的模型流检测的模型特征匹配分布统计, 应用于防cc攻击等行为分析，需要建立正常行为白名单或者异常行为黑名单，平台平台-流检测的手段流检测的手段平台平台-数据批处理与流处理协同数据批处理与流处理协同(挂马回溯）挂马回溯

6、）挂马细节内容举例：MalUrl:http:/ generated by issmall use mdecoder 0.31roothttp:/ scripthttp:/ scripthttp:/hbq.xorg.pl/c.js?google_ad=11227_ad iframehttp:/ iframehttp:/ iframehttp:/ scripthttp:/ exehttp:/ scripthttp:/ 检测过后，需要做及时防御 安全防御服务一般是串联在被保护的系统中，诸如WAF 安全防御服务一般部署在与业务关联的集群中 主动检测服务和安全防御服务，他们之间有数据联动， 也有功能联动

7、 数据联动 通过Hadoop运行平台挖掘数据提供能防御系统使用 功能联动安全服务间的一种即时联动，在检测流程中就发生联动平台平台-在线防御服务在线防御服务报表的丰富程度接入方便UI管理方便服务API平台平台-不可小瞧的边角料不可小瞧的边角料u安全服务需求u安全服务内容u安全服务平台u安全服务协作u阿里安全服务交流内容交流内容协作协作-安全服务间协同安全服务间协同协作协作-安全堡垒圈安全堡垒圈:数据收集联动, 流量镜像，日志收集，基于反向代理的信息收集优势互补，诸如流量镜像的乱序，包分片等问题导致收集的url信息不完整，恰恰有些攻击包发现在信息提取不全上面。日志和WAF能解决上面的一些问题功能联

8、动诸如监控系统的Agent如果发现Httpd进程数量异常，可以及时通知Anti-cc来做防御也可以通知7层流量清洗设备数据联动在Hadoop等平台上，对数据做简单的或复杂的运算，诸如页面链接关系， 页面安全评级等都可以采用做搜索引擎的思路来做，再结合安全形成互补， 诸如检测挂马，可以计算链接关系，然后回溯挂马，提供诸如google 还有诸如cc问题，等等，协作协作-安全联动安全联动监控关注可用性, 诸如系统层面cpu,mem,io等监控，还有应用本身的监控诸如apache连接数量等等监控和安全系统的联动，比如有些设备的load高，监控系统分析原因，发现是httpd进程多并且并发连接也较多，可以

9、及时通过安全服务平台通知流量清洗或者Anti-cc系统协作协作-监控与安全监控与安全:流量镜像需要对数据包做分析，由于包的分片，重组，还有镜像系统性能考虑，可能只部分的数据包分析，拼接简单的url数据WAF系统能辅助抓取一些超长的httpurl ,有些攻击包旺旺是超长的url,诸如路径遍历等报文，又比如慢攻击的报文两个安全系统联合获取url信息，能做到优势互补，对检测数据源质量有很大提高协作典型协作典型1-触角间的协作触角间的协作:CC攻击检测能实时知道某个被攻击主机的Qps，新建连接等状况如果触发某个阈值，cc攻击检测可以自身不做防御，而由七层清洗 设备来完成防御工作，当然对安全设备的要求很高协作典型协作典型2-CC&七层清洗七层清洗:u安全服务需求u安全服务内容u安全服务平台u安全服务协作u阿里安全服务交流内容交流内容安全的堡垒圈介绍介绍-云盾安全调查表云盾安全调查表:介绍介绍-安全服务效果安全服务效果安全服务安全服