大数据平台安全评估要素

大数据平台安全评估要素要素1:统一的数据管理平台01要素2:支持多种数据类型02要素3:可扩展数据提取03要素4:安全分析工具04Content目录导语

面对市场形形色色的大数据安全分析产品，用户需要擦亮眼睛，辨伪识真。在考核大数据安全分析平台时，要确保对以下五个要素进行评估，这对实现大数据分析的效果非常关键。这对于快速收集随时产生的海量数据、快速进行数据分析，确保安全人员高效响应非常重要。

要素1:统一的数据管理平台要素1:统一的数据管理平台

统一的数据管理平台是大数据分析系统的基础。数据管理平台存储和查询企业数据。这似乎是一个广为所知，并且已经得到解决的问题，不会成为区分不同企业产品的特色，但实际情况却是，这仍是个问题。处理海量数据通常需要分布式数据库，因为关系型数据库不具备NoSQL数据库的那种高效处理能力。但NoSQL数据库的可扩展性有自己的缺陷。因此，大数据安全分析产品的数据管理平台需要平衡在成本与可扩展性进行平衡。数据库需要能近乎实时去写入新数据，同时能进行快速查询，以支持对安全数据的实时分析。统一数据管理平台需要考虑的另一个重要方面是数据整合问题。

要素2:支持多种数据类型要素2:支持多种数据类型

正如上文所提到的，人们一般用三个“V”（大量、快速、多样）来描述大数据。安全事件的数据多样性给数据的整合带来不少问题。

大数据分析平台利用了大数据平台的可扩展性，以及安全分析与SIEM工具的分析功能。安全事件数据收集会有不同的颗粒度。比如网络包是一般层级较低、细粒度的数据，而修改服务器管理员密码的日志则会是粗颗粒的数据。尽管存在不同，这些数据可能有关联的。网络包也可以捕获有关攻击者潜入目标数据库的数据。

安全事件数据的语义因种类而不同。网络包的信息有助于分析人员了解终端见传输的数据，而漏洞扫码的日志则会反映服务器或其他设备在特点时期的状况。大数据分析平台需要足够掌握不同安全类型的语义信息，以便进行整合和关联分析。

要素3:可扩展数据提取要素3:可扩展数据提取

服务器、终端、网络与其他基础设施的状态都在不断变化。很多状态变化日志都是有用的信息，应该传送到大数据安全分析平台。假设网络带宽充裕，最大的风险是安全分析平台的数据提取组件无法支撑不断涌入的安全数据。这种情况下，数据会丢失，从而损害部署大数据安全分析平台的目的。

维持消息队列中的查询数据高写入量，系统可以支持不断增加的数据提取。同时，一些数据库使用追加写入的方式支持海量写入。数据被追加到提交日志而不是随意写入到磁盘块。这样可以减少随意写入磁盘时的延迟。这种数据管理系统维持一个队列可以作为写入时的数据存储缓冲。如果出现信息剧增或硬件故障，导致写入操作，数据可以堆积在队列中，直至数据库消除积压的写入数据。

要素4:安全分析工具要素4:安全分析工具Hadoop和Spark等大数据平台都是通用目的的工具。它们可以帮助开发安全工具，但它们本身并不是安全分析工具。安全攻击可以进行扩展以满足企业基础设施产生的数据规模。因此，Hadoop和Spark等工具满足这一标准。但安全分析工具应该负责解释不同数据类型的关系，比如用户、服务器和网络。

分析人员应该能从安全的角度抽取和查询安全事件数据。例如，分析人员应该能够查