大数据分析的技术架构关键技术_第1页
大数据分析的技术架构关键技术_第2页
大数据分析的技术架构关键技术_第3页
全文预览已结束

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、大数据分析的技术架构及关键技术大数据分析利用大数据技术对海量数据的高效计算能力，结合关联分析、深度学习、机器学习算法等手段，对各种已知与未知威胁进行快速发现与预警，实现网络防御从被动到主动的转变。下面我们就来看看大数据分析的技术架构及关键技术吧。大数据安全分析之大数据分析的技术架构及关键技术一、大数据分析的技术架构大数据安全分析总体架构由数据采集、预处理、存储、处理、分析计算、数据应用展示几部分组成：数据源数据源是大数据分析的基础与前提，准确高质量的多源异构数据是安全分析效果的保证，进行安全分析需要收集的数据源包括：日志数据：包括设备与系统的日志和安全告警信息。流量数据：网络流量数据，包括Ne

2、tflow数据和全流量镜像数据。支持数据：包括资产信息、账号信息、漏洞信息和威胁情报信息等。采集和预处理对数据源收集的信息进行解析、标准化和丰富化处理，从而为数据分析提供高质量的数据。数据传输采集：根据不同类型的数据源，以及数据存在的状态，采用不同的传输与采集技术。数据预处理：对数据进行解析、补全、标准化操作，从而提高安全分析的可信度，降低误报率。数据存储全量存储网络中原始的网络数据，使数据结果分析更加全面可信。对所有网络行为数据建立索引，便于快速查询、管理分析和举证。数据分析利用关联分析、机器学习、深度学习等技术，从海量原始数据中自动挖掘出有价值的信息，最大的发挥数据的价值。数据应用依据数据

3、分析结果，实现安全态势感知、安全预警、追踪溯源等应用。二、大数据分析的关键技术数据采集与解析技术利用日志采集器实时以非格式化或半格式化采集原始数据，根据配置的解析规则和字段补全规则，完成数据的解析与数据补全。最终将解析的数据存入大数据存储中，以便后续进行实时或长周期的展示和统计分析。大数据存储与处理技术大数据平台计算处理能力达到日存储数据超过1T，支持千亿条数据的秒级处理，PB级数据管理与应用，保证高吞吐量与高数据压缩率，为安全智能分析提供实时或者长期的关联分析数据基础。关联分析通过关联分析引擎对采集的实时数据流进行深度关联分析，包括安全告警、系统日志、资产、网络、漏洞等信息之间采用基于规则、基于统计、基于资产、基于情报等深度关联分析方法，综合分析进行安全威胁检测、预警。机器学习通过机器学习和算法对大量的历史信息和安全信息的关联，以无监督学习（异常检测）为主，并有人工辅助的半监督学习（专家、管理人员反馈

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论