大数据安全架构设计方案

大数据安全架构设计方案大数据安全架构设计方案数据中台的过去、现在和未来工业控制汇聚层大数据技术虚拟化系统核心层物理机＊接入层基于网络的协议解析基于大数据的数据挖掘信创身份安全技术基于操作系统的文件识别工业控制汇聚层大数据技术虚拟化系统核心层物理机＊接入层基于网络的协议解析基于大数据的数据挖掘信创身份安全技术基于操作系统的文件识别IT环境融合IT环境融合反病毒技术反病毒技术反黑客技术─移动工业互联工业互联网基于密码的加解密数据处理（Process)安全检测（Detection)安全分析（Analytics）（Operation）潜在威胁发现能力保障安全防护体系运转保障IT基础设施安全保障知识/情报下发安全运行 情报保障数据处理（Process)安全检测（Detection)安全分析（Analytics）（Operation）潜在威胁发现能力保障安全防护体系运转保障IT基础设施安全保障知识/情报下发安全运行 情报保障据全球大数据资源 高级威胁情报威胁情报态势感知解决方案参考架构（V1.1）图示 基础架构安全分析 积极防御分析ATT&CK分析情报分析纵深防御有效性分析 安全检测引擎指挥控制主题数据库基础数据库情报知识数据库剧本管理数据预处理 数据计算度YARN数据接入数据可视化交互安全控制数据分析管理数据存储全文索引存储ElasticSearch案件管理应编排与响应日志识别漏洞识别资产识别流量识别 析面积图词云折线图玫瑰图条状图柱状图饼状图桑基图环状图雷达图旭日图视图关联筛选散点图zation)外部威胁态势资产风险态势态势行为态势脆弱性态势安全运营态势综合安全态势安全数据态势资源保障态势子流程 图示(Output)基础架构安全能力 纵深防御能力暴力破解登录地域分布统计 积极防御能力子流程 图示(Output)基础架构安全能力 纵深防御能力暴力破解登录地域分布统计 积极防御能力安全能力（9）数据源（14）安全能力（9）IT基础设施感知异构路由器异构防火墙异构交换机纵深防御感知纵深防御感知NGFWIDS/IPSVPNWAF日志审计（LAS)邮件安全网关应用安全网关（ICG）扩展态势感知扩展态势感知终端安全系统数据安全系统身份安全系统业务安全系统（UBA）根 根根根根根 根根根根••平台集安全开发运行框架、安全大数据平台、安全分析应用平台三位一体的安全中台。整合集团安全产品、服务、数据，为我司新一代基于实战攻防的态势感知（监管、运营、攻防）以及数据安全、工业安全等产线和重点项目，提供平台级支撑。态势感知|数据安全|工业安全提供资产、告警、事件、情报、检索为核心应用，支撑业务快速产品化。提供资产、告警、事件、情报、检索为核心应用，支撑业务快速产品化。安全应用平台(dayu-secAPP-PlatForm)基于安全数据模型，提供数据接入、治理及工具集，为数据驱动的安全业务开发提供支撑可扩展、高可用、高性能和安全性的服务运行框架挂图作战实体画像报告管理信息共享重保指挥应急指挥告警管理事件管理事件分析场景化分析追踪溯源全局检索高交互分桥知识库l态势感知l数据安全l工控安全星海诺亚玄机天工引擎联合分析引擎BI引擎安全大数据平台(dayu-secDATA-PlatForm)衩限管理运维监控配置管理许可证升级管理备份还原数据监控消息中心安全运行框架（dayu-Runtime-FrameWork）威胁检测威胁分析风险评分和优先排序针对告警、事件的威胁评分；对资产、单位、行业、区域的安全评分；对攻击者的评分；告警威胁评分事件威胁评分威胁检测威胁分析风险评分和优先排序针对告警、事件的威胁评分；对资产、单位、行业、区域的安全评分；对攻击者的评分；告警威胁评分事件威胁评分资产安全指数（设备、系统、单位、行业、区域）攻击者威胁指数威胁响应对内、外部威胁的检测能力各类设备、平台告警的穿透、过滤针对流式数据进行实时日志关联分析针对全量数据的离线分析对海量告警进行归并关联告警、日志自动发现高价值安全事件UEBA（基线模型）文件动静态检测重点目标的布控如：全流量采集监控针对告警、事件的分析能力及针对特定安全场景的分析能力通过对高位（机构、人员）、低位（设备）对象的协调联动，实现不同层级的威胁响应高性能、跨数据源的全局统一检索高交互分析能力（类Splunk）安全设备的联动能力（海龙）响应编排资产识别资产识别主要集中在于对资产及其脆弱性（漏洞）的识别。对设备、系统、软件、网站、服务等资产类型的统一管理自动发现资产（扫描+流量发现）的统一纳管、运营对接漏洞日志，关联相关资产形成资产漏洞档案通过cpe和cve匹配，分析资产潜在漏洞，分析漏洞影响范围告警、事件的基本展示、分析告警、事件的基本展示、分析针对不同告警分类的个性化展示关键证据采集分析（PCAP包等）根据攻击链、钻石模型对网络威胁的结构化分析场景化分析多人协同分析溯源能力ATTATT&CK映射l关系型数据库l列表数据l文件l音/视频l图片l非实时、大规模、成批量序号分类开源组件描述1流式数据接入的消息队列系统2流式数据接入的分布式的海量日志采集、聚合和传输的系统3批量数据接入的开源组数据转存系统，能够实现关系型数据库与大数据数据库之间的数据双向存储4基于Lucene上开发的数据检索搜索服务5结构化的数据仓库6基于JanusGraph的深度优化图计算组件，应用于图数据库、图计算7对象存储，实现非结构化数据加载，用于大小文件的统一存储8非结构化存储，文件形数据，能够满足大文件的存储，如日志、视频、图片、音频等文件9半结构化存储，列存储，以表格形式进行数据存储超大规模的数据时将计算分摊到不同节点中进行计算流式计算，如金融计算、社交网络计算迭代计算，逐次求解，用于推荐引擎、多维度报表分布式资源调度系统，能够针对MapReduce、Spark、Storm等进行资源调度分布式协调服务负责整体协调大数据平台的多种组件内部自身的资源调度情况主要针对非结构化数据、半结构化数据设计而成，在针对这些数据的挖掘方面能够有很好的效果进行数据分析与处理，数据提取，数据消费等全方位的产品服务大数据平台的统一部署、统一调度、统一运维、统一参数配置等数据管理（ETL抽取）••平台专注于简化大数据应用开发中的流式数据接入、格式转换，富化、实时处理、异常日志，告警等领域的大数据业务系统支撑平台。•该平台向安全产品提供流式数据收集、处理、存储、计算、告警等通用型便捷、高效、易用的大数据业务系统支撑环境，可以实现大数据技术与业务解耦、业务无感知的底层技术迭代，提供配置式大数据业务开发环境，高效利用大数据资源的抽象方法。志类型标准化处理规则506。操作平台基础层大数据平台采集器管理平台管理采集配置数据源管理数据处理监控告警数据接入数据处理查询检索业务层数据建表字段管理数据删除集群监控流程管理数据结构状态监控规则管理系统层部署管理字段管理告警管理数据解析数据筛选数据富化数据过滤数据存储基础层大数据平台采集器管理平台管理采集配置数据源管理数据处理监控告警数据接入数据处理查询检索业务层数据建表字段管理数据删除集群监控流程管理数据结构状态监控规则管理系统层部署管理字段管理告警管理数据解析数据筛选数据富化数据过滤数据存储访问层访问层APIAPI访问WEBWEB界面数据存储平台平台数据接入流量采集器流量采集器第三方采集器第三方采集器输入插件输入插件输出插件输出插件输入插件输入插件输出插件输出插件运行监控数据监控数据采集封包处理缓存分发入库服务存储存储流处理管理平台存储管理数据采集管理管理存储存储管理数据采集管理管理存储配置数据处理管理库表库表定义流程编辑插件注册插件管理插件配置监控平台运行监控运行监控告警通知告警通知数据监控数据监控数据处理数据处理富化插件数据流向定义数据监控格式化插件处理插件缓存分发运行监控平台平台•流程创建：输入、输出、解析、过滤、富化、筛选-插件资产浏览资产搜索数据场景资产导入数据资产新建模型克隆模型模型管理…模型超市可视化图表可视化组件可视化标签可视化容器分析魔方数据资源数据池管理数据引用文件导入目录管理业务建模建模基础数据池数资产浏览资产搜索数据场景资产导入数据资产新建模型克隆模型模型管理…模型超市可视化图表可视化组件可视化标签可视化容器分析魔方数据资源数据池管理数据引用文件导入目录管理业务建模建模基础数据池数据预处理特征工程基础统计算法模型评估模型脚本工具…案例示范案例克隆案例管理案例学习案例查询自定义组件参数配置Python脚本编辑组件新建组件功能集成主题设置快速入口常见问题…系统管理建模知识库模型投产、运行(ModelProduction)建模辅助引擎模型建立、训练、调优（规则引擎+算法插件）基础基础平台建模平台界面事件人工分析研判联合分析引擎离线分析天工实时分析SABRE告警生成告警归并事件人工分析研判联合分析引擎离线分析天工实时分析SABRE告警生成告警归并事件生成事件生成例子：联合分析引擎UseCase-“永恒之蓝”勒索病毒攻击场景描述：内网主机被蠕虫利用漏洞MS17-010攻击，释放勒索病毒，并进一步感染其他主机。1DNS解析日志中发现威胁情报告警2Window系统日志中发现典型蠕虫行为，“创建计划任务”包含“mssecsvc2”3TCP流量日志发现被感染主机试图访问其他主机的445/139等端口以上三种事件在短时间内，在某主机上依次发生，可判断该主机已被感染并试图感染其他主机指挥决策能力宏观决策综合态势关基态势中观指挥工作成果态势安全通报态势数据运行态势微观分析漏洞态势+指挥决策能力宏观决策综合态势关基态势中观指挥工作成果态势安全通报态势数据运行态势微观分析漏洞态势+威胁态势=事件态势外因结果资产态势失陷态势XX专项态势历史态势未来态势业务管理能力考核评测应急指挥事件管理资源治理处置专报预警通报信息共享测评管理运营考核单位考核重保指挥监测信息上报工作通知重点护航通报处置协调指挥平时业务支撑能力安全分析能力情报信息调查分析场景化分析网站/系统监测关联分析模型构建全局检索态势报告风险评估多维分析移动态势文件监测线索分析告警分析事件分析情报信息资产管理能力重点资产关基资产一般资产一期二期三期知识库知识库工作台可视化可视化工作台数据治理数据治理工作台平台运营平台运营工作台系统管理系统管理工作台设备运维工作台堡垒机未来能力外溢：地市级态势感知（下）工业互联网安全大数据中台国家工业互联网安全监测与态势感知平台威胁情报共享平台网络安全态势感知展示平台本地情报概览业务支撑子系统重保专项可视化工业企业资源企业服务数据分析信息共享安全监测威胁模型应急指挥通报处置重保指挥重保资产情报管理重点企业态势文件关联工业企业物联网分析企业上云态势服务运营中心威胁监测数据监控应急可视化重保资产概况通报概览数据资源目录工业APP资产分析安全态势情报查询服务对象管理漏洞监测信息管理事件接收管理重保任务管理安全事件重保资产管理数据资产管理数据挖掘分析工业设备标识解析安全态势安全预警服务项目管理资产监测共享规则管理模型管理重保工作台重保资产搜索通报管理应急报告管理互联网资产 工业互联网漏洞态势事件处置服务内容管理标识解析监测信息接口推送模型可视化工业互联网安全大数据中台国家工业互联网安全监测与态势感知平台威胁情报共享平台网络安全态势感知展示平台本地情报概览业务支撑子系统重保专项可视化工业企业资源企业服务数据分析信息共享安全监测威胁模型应急指挥通报处置重保指挥重保资产情报管理重点企业态势文件关联工业企业物联网分析企业上云态势服务运营中心威胁监测数据监控应急可视化重保资产概况通报概览数据资源目录工业APP资产分析安全态势情报查询服务对象管理漏洞监测信息管理事件接收管理重保任务管理安全事件重保资产管理数据资产管理数据挖掘分