版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
1、新一代大数据安全分析系统数据驱动安全 Data Driven Security目录案例分享产品和解决方案企业为什么需要大数据安全分析公司介绍公司介绍用大数据分析解决信息安全问题HanSight是首家将大数据分析与信息安全相结合的团队,投资人包括A股上市公司恒宝股份、南京高科和知名VC赛伯乐。我们专注于下一代信息安全,包括:海量安全数据收集与分析(日志、安全事件、网络流量 、安全情报);将机器学习、算法大规模应用于安全分析;兼顾传统私有部署与云部署。我们的优势:大数据信息安全机器学习5年Hadoop / Spark经验,Hortonworks首家认证技术合作伙伴。10年核心安全经验,多项中美安全
2、专利,包括反钓鱼、脚本分析、沙箱、日志降噪等。坚信机器学习会在安全领域大放异彩。机器学习团队曾在美国与FireEye直面竞争并获胜。企业为什么需要大数据安全分析安全管理缺失统一的抓手整体网络安全态势无法感知异常行为和未知威胁无法发现海量数据无法有效处理分析传统安全面临的问题 产品和解决方案方案解决思路瀚思大数据安全分析系统(HanSightEnterprise),是一款基于大数据、机器学习、模式识别等技术的企业级智能安全分析平台,通过收集企业内部各个关键系统产生的业务数据,通过集中存储、快速检索、实时分析及告警、威胁响应、可视化展现和安全报告等功能。通过利用帮助海量数据的收集、分析与展现大数据
3、安全分析平台发现和应对新型安全威胁。从而提升企业信息安全防御能力安全态势感知持续监控与快速响应外部攻击与高级威胁内部违规与异常行为安全智能瀚思大数据安全分析系统安全设备网络设备主机 / VM数 据 库资产信息认证系统应用系统终 端网络流量数据源关联分析机器学习数据建模威胁情报中心用户行为分析大数据安全分析基础平台大数据安全分析流量分析系统架构 数据解析 字段识别 用户自定义字段 时间字段侦测 时间同步日志传输 批量传输 日志压缩 日志加密 日志缓存AAA数据源对接SNMP、SYSLOG、Agent、Netflow、API接口、数据库接口、FTP、HDFS、KAFKA、端口镜像、Netflow等
4、;网络设备、安全设备、应用系统、中间件、主机、数据库等;A数据源事件类别标签 数据源接收时间 事件起始结束时间 事件类别 事件对应主机 事件对应人员/Host/Application/Service/Access/Failure /Firewall/Informational 信息增强 服务器接收时间 地理位置信息 资产漏洞信息 资产分类信息步骤一:基础数据资源采集外部威胁情报整合恶意域名.恶意IP.恶意URL.Whois信息.木马病毒特征码.文件hash值.元素之间关联关系.数据日志NetFlow全流量威胁情报资产信息实时数据检测关联分析引擎安全规则库历史数据分析交互分析UBA安全事件网络攻
5、击木马病毒漏洞利用非法访问安全告警高级中级低级全文检索可视化分析智能分析数据建模机器学习数据泄露病毒爆发登陆异常溯源分析威胁场景还原处理措施资产画像图计算异常行为分析步骤二:安全分析威胁建模实时检测关联分析基于Spark Streaming技术实现的强大的CEP引擎,对系统采集的实时数据流进行关联分析.关联的模式包括统计关联、资产关联、情报关联、模式关联、漏洞关联、策略关联等.内置安全关联规则.关联分析(例)原始数据:GenTime=2016-07-27 21:58:20 src: drc:2 attack-name”后门木马网络红娘连接”内部基础信息:审批门户网站,北京机房,张三,2014年
6、上线,等保三级,外部威胁情报2:联通,上海市,恶意IP-网络红娘:远程木马,该软件可以进行屏幕捕捉、视频监控、获取操作文件、获取键盘记录、获取剪贴板内容、模拟MSDOS命令等诸多违规操作,安全事件:位于北京机房的审批门户网站服务器()从2016-07-27 21:58:20开始频繁访问上海市联通的恶意ip地址(2),该行为经鉴定是由于服务器被植入远程木马程序导致,该软件可以进行屏幕捕捉、视频监控、获取操作文件、获取键盘记录、获取剪贴板内容、模拟MSDOS命令等诸多违规操作,根据安全应急响应预案该风险等级为“高”,需要立即做下线处理。交互式分析全文检索支持通过模糊匹配的方式对已存储的海量事件进行
7、全文检索.可以根据任意关键词(支持“与”和“或”,支持使用 =、 、 等关系运算符) 进行日志数据检索.任意字段值可以进行排序统计分析.交互式分析可视化分析流量弦图分析.事件河流图分析.偏离分析图.数据透视图分析.关联分析图分析.交互式分析智能分析支持对一个或多个数据源进行灵活的可视化的图表分析.支持对任意字段值进行最多最少排序.可根据任意字段值进行多条件组合数据过滤.可查看原始日志.UBA用户异常行为分析异常事件行为序列化.以部门、个人、资产等为单位建立行为基线.关联用户与资产的行为.用机器学习算法或者预定义规则找出严重偏离基线的异常行为.UBA盗取内部数据建立特定用户的画像,包括他的合法行
8、为白名单和行为基线.用户行为分析引擎侦测用户的异常行为,例如异常时间、从可疑位置登录,或是访问和平时完全不同的数据或数据量,或是把数据上传至公司外部的可疑地址.提供可疑用户最近的所有行为给安全管理员进行进一步的详细调查.UBA撞库攻击撞库攻击场景行为序列化.检测场景数据建模.多维行为基线检测.撞库成功账号关联信息展示.养号阶段账号可视化展示.步骤三:安全事件处置处置方式说明派发工单通过内置工单流转,实现了安全事故的记录从创建、处理到关闭的生命周期管理发送一个工单到运维系统例如发送给HPServiceDesk,或者BMC将攻击者或受害人添加到黑白名单中将产生该关联事件的重要原始属性添加到黑白名单
9、中,供管理员重点观察。对于加入黑白名单的资产,管理员可以设定观察周期发送电子邮件发送一封电子邮件给指定人带外响应指通过网络之外的方式进行告警响应,避免由于网络故障导致告警不可达。包括发送手机短消息声光电告警屏幕闪动、声音告警步骤四:安全事件溯源分析基于洛克希德马丁的KillChain攻击链模型,提供网络攻击事件的场景还原功能.对于每条告警信息,回溯产生告警的证据链,包括原始日志信息、流量摘要信息等.将IP与人和资产进行对应.步骤五:安全态势感知通过可视化的方式准确表达目前企业内部各区域、各部门、各业务系统的安全状况和变化趋势.对可能发生的安全事件和安全风险进行安全预警.步骤六:安全分析报告综合
10、分析报告高层领导视角.专项领域安全运营报告业务部门视角.安全事件报告安全部门领导视角.价值和收益大数据安全分析系统的价值它能综合多种数据来源进行未知威胁和异常行为分析;它可以构建企业整体安全态势感知中心;它能基于威胁情报在事前提供风险预警;它能协助企业将复杂的安全运维流程落地;它能帮助安全人员进行安全事件溯源取证;大数据安全管理平台风险预警态势感知威胁分析安全运维事件溯源方案优势优势亮点大数据能力 5年大数据经验,Hortonworks首家认证技术合作伙伴用户行为分析以内部用户为视角,多维度用户异常行为分析10年核心安全经验,多项中美安全专利安全能力机器学习团队曾在美国与FireEye直面竞争
11、并获胜机器学习提高威胁检测准确度和风险预警集成威胁情报案例分享成功案例:某公安单位安全架构日趋复杂、新型技术不断涌现:不但有传统物理服务器、网络设备和安全设备,也有虚拟机和虚拟设备;不仅有C/S, B/S架构传统应用,也有IaaS,SaaS等新型服务。安全数据快速增长,数据快速处理能力不足:每台物理设备每天生成5万至50万条安全事件,全网带宽也从百兆提升至千兆,每年需处理的安全数据在10TB数量级,而现有安防系统的处理能力仍停留在1TB数量级,快速提取有价值的数据进行分析。安全处理能力分散,未能形成整合优势:现有安全处理方式仍然按照防火墙、病毒防范、行为审计等独立事件进行处理,未能整合安全事件
12、之间的相互关系、行为关联来产生总体安全态势,缺乏科学决策提供依据。项目需求及阶段性实现整合内网设备数据利用大数据技术提升存储和检索效率可视化直观呈现网络态势大数据平台建设上下文信息关联已知和未知威胁发现整合资产信息结合外部威胁情报交互式分析工具异常行为检测安全事件告警攻击事件还原实时数据检测部署前后对比部署后效果在安全设备与网络设备方面。对于数据的存储和分析能力得到很大的提升,以往的技术1秒最多存储2000条日志,无法满足我局每天几亿条日志的存储要求;部署前状态由于数据的存储限制,对各种安全设备和网络设备难以进行统一的检测、展现,许多珍贵的信息数据被删除;造成各设备的独立性,无法最大程度的利用
13、数据并找出数据与数据之前的关联性;之前的安全管理方式还是被动式、孤岛式的,不能准确了解各种安全设备的配置是否合理;不能应对现有安全设备发现不了的未知威胁。在安全设备与网络设备方面。对于数据的存储和分析能力得到很大的提升,现在可以达到1秒存储30000条,性能提高了十几倍,实现了安全数据的全量存储,并通过对全量数据的专业化处理;大大提升了各种安全设备和网络的存储容量;找到数据与数据之前的关联性,并进行快速分析,还原出问题的真相,最终实现数据的“增值”;对于我局整体的安全状况更加了解,同时发现一些安全设备在配置规则上的薄弱环节加以改善;对一些未知威胁可以成功预警。项目效果安全事件:网站遭受信息泄露
14、扫描和SQL注入攻击持续时间:2016/04/22 19:32:51 19:37:55,持续约5分钟。事件分析:从2016/04/22 19:32:51 19:32:52的2秒钟内,向网站发出了380个请求;利用工具进行关键信息的注入和扫描,没有成功;时间为2016/04/22 19:33:56 19:34:55的1分钟内攻击者利用浏览器进行探测,了解网站登录机制;从2016/04/22 19:35:47 19:37:55的2分钟内,利用sqlmap这个开源渗透测试工具对网站进行了200多次SQL注入攻击。建议操作:将IP 2加入防火墙的黑名单,阻止其访问网站成功案例:某大型商业银行 “网上银
15、行系统”作为银行最为重要的业务系统,每天都会产生大量日志,遗憾的是由于处理能力所限, 招行现有HP ArcSight系统只能处理10小时内产生的日志。从而造成招行无法对这些日志进行长周期、大数据量的关联分析,进而发现潜在的威胁。招行急需一个大数据安全分析平台,以便对包括网银日志及SIEM系统事件进行长周期集中保存,并进行关联分析,从长远上,可以对留存的日志及事件进行关联并做长周期的分析,以便找到安全隐患。 网银日志每天新增800GB,因ArcSight处理能力所限,只能存储分析最近10小时数据;已部署的WAF 和ArcSight基于特征码或规则进行检测,缺少对未知威胁和异常行为分析手段;大量安全事件处理效率低,安全问题快速发现及溯源难;项目背景:客户现状:项目需求及阶段性实现大量日志采集存储数据可视化全文检索大数据平台建设上下文信息关联已知和未知威胁发现通过长周期的日志检索分析发现潜在威胁交互式工具、报表帮助发现异常行为威胁场景分析及预警攻击链还原集成外部威胁情报安全状态可视化安全分析报告数据输入:网银应用系统访问日志检测对象:网银近400个敏感 URL,涵盖注册、登录、密码重置等分析过程:用户自定义需要分析的URL;对这些URL建立ARIMA模型;每天入库信息与模型比对;与模型不匹配则产生预警信息;用户根据预警进一步确认;实际效果:作为用户每天基本运维的内容;目前预警频次约23
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2025版市政工程挖掘机租赁及施工配合合同协议书3篇
- 2025版智能交通管理系统软件开发与运营服务合同3篇
- 2025版城市绿地养护劳务分包合同模板4篇
- 企业人力资源管理概念
- 二零二五版知识产权保密与竞业限制服务合同3篇
- 塑料薄膜光学性能研究考核试卷
- 2025版事业单位教师岗位聘用合同续签协议书3篇
- 2025年度码头转租及船舶停靠服务外包合同4篇
- 04毛首鞭形线虫简称鞭虫47课件讲解
- 2025年食品行业食品安全风险评估合同范本3篇
- 垃圾处理厂工程施工组织设计
- 天疱疮患者护理
- 2025年蛇年新年金蛇贺岁金蛇狂舞春添彩玉树临风福满门模板
- 《建筑制图及阴影透视(第2版)》课件 4-直线的投影
- 新生物医药产业中的人工智能药物设计研究与应用
- 防打架殴斗安全教育课件
- 损失补偿申请书范文
- 压力与浮力的原理解析
- 铁路损伤图谱PDF
- 装修家庭风水学入门基础
- 移动商务内容运营(吴洪贵)任务二 社群的种类与维护
评论
0/150
提交评论