智慧银行大数据的安全运维一体化解决方案

智慧银行大数据的安全运维一体化解决方案智慧银行大数据的安全运维一体化解决方案1关于2项目背景随着银行IT业务和产品服务的多样化，使得业务系统产生的数据急剧增长，同时所需的设备数量和安全设施也随之增加。如何能更好的使用这些数据，提高处理效率，成了迫在眉睫的任务，其中首先要实施的是：安全大数据，通过收集对应各类安全设备日志与网络流信息，清洗归并，进行对应规则判断，以及分析建模。应用大数据，能够快速而精确地供系统负责人查询到需要的信息与上下文。监控大数据，收集各类监控子系统详细事件信息，清洗切分，供搜索与横向规则判断（规则引擎），并能做对应分析计算（如监控基线）。关于2项目背景随着银行IT业务和产品服务的多样化系统技术架构第一章目录Contents系统基础平台第二章安全分析第三章运维分析第四章应用分析第五章成功案例第六章系统技术架构第一章目录Contents系统基础平台第二章安全系统技术架构1系统技术架构1大数据安全运维一体化分析系统大数据安全运维一体化分析系统，是一款基于大数据、机器学习、模式识别等技术的企业级智能安全运维分析平台，它具有海量数据采集、集中存储、快速检索、实时分析及告警、可视化展现和报告等功能。为企业安全事件及异常行为检测、安全态势感知、运维管理和应用分析提供了一个智能、高效、可灵活扩展的解决方案。

本系统采用旁路快速检测方式，是对现有安全运维体系的有效补充，亦可看做下一代的安全信息及事件管理系统和运维分析平台，并可逐步替代现有分析系统。

大数据安全运维一体化分析系统大数据安全运维一体技术架构技术架构系统基础平台2系统基础平台2

安全运维一体化系统提供完善的资产管理系统，为网络中的所有资产建立安全档案卡，资产信息包括以下信息：基础信息：资产名称、IP地址、所属部门、安全域、设备类型、地理位置、负责人等；安全属性：可用性、完整性和保密性以及资产价值；弱点属性：资产漏洞信息、安全配置信息等；资产管理安全运维一体化系统提供完善的资产管理系统，为数据采集范围网络／安全设备、主机操作系统、数据库、中间件、应用系统；抽样网络流量：NetFlow信息；全流量数据：

网络全流量数据包；日志网络流量威胁情报恶意域名和URL、恶意IP地址、DNS信息、木马病毒信息（MD5/SHA-1）等；内部数据外部数据数据采集范围网络／安全设备、主机操作系统、数据库、中间件、应数据采集方案——日志网络设备安全设备数据库中间件Syslog/SNMP数据库JDBC日志采集模块安装Agent主机操作系统应用系统FTP/Kafka/HDFS数据采集方案——日志网络设备安全设备数据库中间件Syslog数据采集方案——网络流量NC旁路连接并采集用户端镜像网络数据：1、源IP，目标IP2、协议类型、端口号3、TCP会话状态信息（建链、拆链、重传等）4、报文尺寸与数量5、组包和解包6、报文内容解析Internet出口路由器核心交换机大数据安全分析平台……各节点HansightNCHansightNC数据采集方案——网络流量NC旁路连接并采集用户端镜像网络数据HanSight安全运维分析一体化系统的微服务构架HanSight安全运维分析一体化系统的微服务构架HanSight安全运维分析系统的优势基于特征库／规则的应对场景比例变小，机器学习辅助成为必须以数据驱动安全，实现：数据全方位可见 实时安全数据算法分析加人工辅助适合企业的安全运维一体化策略强大的底层存储分析架构和逻辑引擎HanSight安全运维分析系统的优势基于特征库／规则的应对算法分析流程

适合安全分析的无监督学习为主有人工辅助的半监督学习无监督异常分析－人工确定异常－产生标记样本－半监督学习算法分析流程

适合安全分析的无监督学习为主性能基准入库：>

30000EPS实测单独入库最高可接近20000EPS，为保证查询性能，以当前配置可使其较稳定运行查询简单查询一天数据（~3亿条）：<

1s简单查询七天数据（~25亿条）：<

10s采集器性能单个采集器读取文件：~20000EPS（多文件可并行处理）性能基准入库：>30000EPS安全分析3安全分析3大数据安全分析数据日志NetFlow全流量威胁情报资产信息实时数据检测关联分析引擎安全规则库历史数据分析交互分析异常行为分析安全事件网络攻击木马病毒漏洞利用非法访问……安全告警高级中级低级全文检索可视化分析统计分析数据建模机器学习数据泄露病毒爆发登陆异常溯源分析威胁场景还原战损分析处理措施行为基线图分析大数据安全分析数据日志NetFlow全流量威胁资产实时数据检威胁情报安全威胁情报模块大数据安全管理平台安全威胁情报公有云威胁检测请求API调用结果返回结果返回安全威胁情报私有云大数据安全管理平台数据摆渡结果返回安全威胁情更新工具威胁检测请求办公网环境隔离网环境威胁情报安全威胁情报模块大数据安全管理平台安全威胁情报公有云

实时关联分析：大数据安全管理平台通过基于SparkStreaming技术实现的强大的CEP引擎，对系统采集的实时数据流进行关联分析。

关联的模式包括统计关联、资产关联、情报关联、模式关联、漏洞关联、策略关联等；

实时数据分析-关联分析实时关联分析：大数据安全管理平台通过基于Sp

全文检索：历史数据分析-交互分析

可视化分析：

统计分析：全文检索：历史数据分析-交互分析历史数据分析-异常行为分析UEBA：用户／实体异常行为分析：以部门、个人、资产、资产群等为单位建立行为基线；关联用户与资产的行为；用机器学习算法或者预定义规则找出严重偏离基线的异常行为；

采用技术：机器学习／基线分析／图分析：采用无监督机器学习算法；计算结果易于可视化，便于理解；覆盖整个一片安全事件，不是孤立的点；历史数据分析-异常行为分析UEBA：用户／实体异常行为分析：

机器学习：大数据管理平台可建立特定的网络威胁分析模型，定时的对网络中的APT攻击进行检测分析，如僵尸网络、低速扫描、恶意URL分析等机器学习分布式

机器学习算法

Spark集群标准化事件建模器异常检测异常

访问历史学习实时异常检测关联安全

事件历史数据实时数据系统其它日志正常访问

模型机器学习：大数据管理平台可建立特定的网络威胁

基线分析：企业内用户的行为模式，只要所属部门和角色不变，就不会发生太大变化。服务器或者其他资源也类似。通过算法把变化幅度量化，数值超过基准过高的就是异常事件，而安全事件必然是从异常事件开始。基线分析如：三个分析维度：邮件、HTTP访问量、登录。每一个维度包括总量（柱宽度、维度值分布百分比），右边是均值的对比。红色代表异常。所以第一个图表示此用户邮件发给wangjing@163.com的数量（宽度）远大于当天同部门平均值。右边代表其登录失败比例远大于同部门平均值。基线分析：企业内用户的行为模式，只要所属部门和图分析列出单一某个时间段系统／用户

（2/1日8:00-9:00）的行为图下一步的问题：2/1日8:00-9:00和平时8:00-9:00行为有何差异？和其他用户2/1日8:00-9:00的差异？和整个一年的8:00和9:00行为有何差异？图分析列出单一某个时间段系统／用户

（2/1日8:00-9:安全场景（低速扫描）威胁名称：低速扫描数据输入：防火墙日志检测对象：重要服务器长周期通信模型分析过程：用户自定义需要分析的服务器和周期；利用多变量时间序列聚类算法，把源IP按目的端口和目的IP的通讯行为聚合成多类，过滤无异常的类；一张图上可视化每类的每天变化情况，用户可精确定位到具体IP、目的端口、时间；实际效果：作为用户每天基本运维的内容；每个月发现约1～2起低速扫描事件；安全场景（低速扫描）威胁名称：低速扫描分析过程：实际效果：安全场景（撞库攻击）威胁名称：撞库攻击数据输入：网银应用系统访问日志检测对象：网银近400个敏感URL，涵盖注册、登录、密码重置等分析过程：用户自定义需要分析的URL；对这些URL建立ARIMA模型；每天入库信息与模型比对；与模型不匹配则产生预警信息；用户根据预警进一步确认；实际效果：作为用户每天基本运维的内容；目前预警频次约2~3次/周；已帮用户发现及溯源超过20次的风险；安全场景（撞库攻击）威胁名称：撞库攻击分析过程：实际效果：安全场景（账号异常）挑战：随着移动办公和BYOD的普及，企业越来越难从正常的行为找出被盗用的账号行为。HanSight解决方法HanSightEnterprise自动建立特定用户的画像，包括他的合法行为白名单和行为基线用户行为分析引擎侦测用户的异常行为，例如从可疑位置登录，或是访问和平时完全不同的数据或数据量，或是把数据上传至公司外部的可疑地址系统可以提供该用户最近的所有行为给安全管理员进行进一步的详细调查安全场景（账号异常）挑战：安全场景（关联URL访问统计和基线）安全场景（关联URL访问统计和基线）安全场景（奇异值及请求来源分析）安全场景（奇异值及请求来源分析）安全场景（访问时间线分析）安全场景（访问时间线分析）运维分析4运维分析4监控大数据监控分为系统级、应用级、业务逻辑系统级：

硬件和网络状况应用级：

应用软件的健康情况业务逻辑：业务功能和时间延迟监控大数据监控分为系统级、应用级、业务逻辑系统级监控采集端采集SNMP数据系统日志流量数据主动探测现有IT监控系统如：zabbix,

nagios系统级监控采集端采集系统级监控展示（设备状态）系统级监控展示（设备状态）系统级监控展示（网络状态）系统级监控展示（网络状态）分析告警单数据源简单规则，通过对每次最新的监控数据进行阈值比较上下限阈值比较数据存活性比较单数据源组合规则，对简单规则的结果进行进一步的处理，来减少告警量多次告警，当触发的事件在一段时间内超过一定的次数时告警冷却，当同一告警多次出现时，进行相应的冷处理。变化告警，当监控数据与前一时间点差别很大时，进行告警。多数据源组合规则，对多个数据源进行计算后获得：基线告警，当数据与基线数据差别较大时，进行相应的告警组合运算，可以计算比例超过／低于阈值后告警分析告警单数据源简单规则，通过对每次最新的监控数据进行阈值比基线计算规则基线算法以周为单位，寻找前三周相同时间点为采样数据，计算当前时间点的基线。具体算法为：以当前计算时间点为基准，分别向前倒退7天（一周），14天（二周），21天（三周），可以得到三个时间节点:

A1,

A2,

A3；以每一个新时间节点（A1-A3）为基准，分别倒退36小时（A-36h），推前12小时（A+12h），这样将得到一个48小时的区间（B0-B39）在这48小时时间区间内，再以每一个小时为时间区间，取48个采样值，例如交易量基线，则计算每小时交易量的总量数据作为该小时内的采样值通过计算A1-A3的采样值，总计可以获取

48*3=144个采样值计算这144个采样值的均值：V

与方差

：S最后通过配置浮动系数(α)，求得基线数据：V+αS基线计算规则基线算法以周为单位，寻找前三周相同时间点为采样数应用分析5应用分析5应用分析大数据应用分析根据来源可以分为日志数据分析和网络解包分析日志数据分析：

分析应用提供的日志数据，优点是准确，易于扩展，缺点是需要应用支持和部署略复杂网络解包分析：

分析网络流量中的用户数据，优点是对业务无影响，缺点是开发比较复杂应用分析大数据应用分析根据来源可以分为日志数据分析和网络解包数据全文检索/条件检索数据全文检索/条件检索核心SOP交易数据分析（交易返回码和交易量分析）核心SOP交易数据分析（交易返回码和交易量分析）核心SOP交易数据分析（交易成功率分析）核心SOP交易数据分析（交易成功率分析）第一步：建立数据模型第二步：发现可疑号码第三步：钻取关联分析黑洞模型：账户大量转入交易火山模型：账户大量转出交易业务场景分析

（反欺诈）威胁名称：盗用身份证开户及资金转入转出异常数据输入：网银应用系统日志检测对象：网银资金交易用户分析过程：自定义分析的网银交易日志周期；将海量用户手机号、账户号和身份证号码进行关联并可视化展示；发现盗用大量身份证频繁开户的用户；进一步钻取分析，查看到可疑的用户手机号及所有相关的账户和身份证号；同时发现相关账户有金融业务风险中的“火山”和“黑洞”情况出现；实际效果：作为用户每天基本运维的内容；已帮用户发现多起账户异常交易行为；第一步：建立数据模型第二步：发现可疑号码第三步：钻取关联分析分析告警单数据源简单规则，通过对每次最新的监控数据进行阈值比较上下限阈值比较数据存活性比较单数据源组合规则，对简单规则的结果进行进一步的处理，来减少告警量多次告警，当触发的事件在一段时间内超过一定的次数时告警冷却，当同一告警多次出现时，进行相应的冷处理。变化告警，当监控数据与前一时间点差别很大时，进行告警。多数据源组合规则，对多个数据源进行计算后获得：基线告警，当数据与基线数据差别较大时，进行相应的告警组合运算，可以计算比例超过／低于阈值后告警分析告警单数据源简单规则，通过对每次最新的监控数据进行阈值比成功案例6成功案例6某商业银行大数据分析案例“网上银行系统”作为某商业银行最为重要的业务系统，每天都会产生大量日志，遗憾的是由于处理能力所限，

银行现有HPArcSight系统只能处理10小时内产生的日志。从而造成银行无法对这些日志进行长周期、大数据量的关联分析，进而发现潜在的威胁。银行急需一个大数据安全分析平台，以便对包括网银日志及SIEM系统事件进行长周期集中保存，并进行关联分析，从长远上，可以对留存的日志及事件进行关联并做长周期的分析，以便找到安全隐患。

网银日志每天新增800GB，因ArcSight处理能力所限，只能存储分析最近10小时数据；已部署的WAF和ArcSight基于特征码或规则进行检测，缺少对未知威胁和异常行为分析手段；大量安全事件处理效率低，安全问题快速发现及溯源难；项目背景：客户现状：某商业银行大数据分析案例“网上银行系统”作为某商业银项目需求及阶段性实现总体需求阶段一阶段二阶段三（ing）……大数据平台搭建IIS／Apache日志采集分析数据源入库规整化全文检索数据可视化数据长周期留存搜索准实时响应性能调优平台监控异常行为建模定制化图表需求TOP

X

HistogramTerm

AggsMonitoring运维UI

定制ArcSight事件数据收集及关联分析扩容业务分析IIS

日志收集Apache

日志收集ArcSight事件收集（FW/IDS/IPS／WAF）数据留存>

2个月数据建模及未知威胁发现安全预警数据分析可视化搜索准实时响应项目需求及阶段性实现总体需求阶段一阶段二阶段三（ing）…谢谢你的观看谢谢你的观看48智慧银行大数据的安全运维一体化解决方案智慧银行大数据的安全运维一体化解决方案49关于50项目背景随着银行IT业务和产品服务的多样化，使得业务系统产生的数据急剧增长，同时所需的设备数量和安全设施也随之增加。如何能更好的使用这些数据，提高处理效率，成了迫在眉睫的任务，其中首先要实施的是：安全大数据，通过收集对应各类安全设备日志与网络流信息，清洗归并，进行对应规则判断，以及分析建模。应用大数据，能够快速而精确地供系统负责人查询到需要的信息与上下文。监控大数据，收集各类监控子系统详细事件信息，清洗切分，供搜索与横向规则判断（规则引擎），并能做对应分析计算（如监控基线）。关于2项目背景随着银行IT业务和产品服务的多样化系统技术架构第一章目录Contents系统基础平台第二章安全分析第三章运维分析第四章应用分析第五章成功案例第六章系统技术架构第一章目录Contents系统基础平台第二章安全系统技术架构1系统技术架构1大数据安全运维一体化分析系统大数据安全运维一体化分析系统，是一款基于大数据、机器学习、模式识别等技术的企业级智能安全运维分析平台，它具有海量数据采集、集中存储、快速检索、实时分析及告警、可视化展现和报告等功能。为企业安全事件及异常行为检测、安全态势感知、运维管理和应用分析提供了一个智能、高效、可灵活扩展的解决方案。

本系统采用旁路快速检测方式，是对现有安全运维体系的有效补充，亦可看做下一代的安全信息及事件管理系统和运维分析平台，并可逐步替代现有分析系统。

大数据安全运维一体化分析系统大数据安全运维一体技术架构技术架构系统基础平台2系统基础平台2

安全运维一体化系统提供完善的资产管理系统，为网络中的所有资产建立安全档案卡，资产信息包括以下信息：基础信息：资产名称、IP地址、所属部门、安全域、设备类型、地理位置、负责人等；安全属性：可用性、完整性和保密性以及资产价值；弱点属性：资产漏洞信息、安全配置信息等；资产管理安全运维一体化系统提供完善的资产管理系统，为数据采集范围网络／安全设备、主机操作系统、数据库、中间件、应用系统；抽样网络流量：NetFlow信息；全流量数据：

网络全流量数据包；日志网络流量威胁情报恶意域名和URL、恶意IP地址、DNS信息、木马病毒信息（MD5/SHA-1）等；内部数据外部数据数据采集范围网络／安全设备、主机操作系统、数据库、中间件、应数据采集方案——日志网络设备安全设备数据库中间件Syslog/SNMP数据库JDBC日志采集模块安装Agent主机操作系统应用系统FTP/Kafka/HDFS数据采集方案——日志网络设备安全设备数据库中间件Syslog数据采集方案——网络流量NC旁路连接并采集用户端镜像网络数据：1、源IP，目标IP2、协议类型、端口号3、TCP会话状态信息（建链、拆链、重传等）4、报文尺寸与数量5、组包和解包6、报文内容解析Internet出口路由器核心交换机大数据安全分析平台……各节点HansightNCHansightNC数据采集方案——网络流量NC旁路连接并采集用户端镜像网络数据HanSight安全运维分析一体化系统的微服务构架HanSight安全运维分析一体化系统的微服务构架HanSight安全运维分析系统的优势基于特征库／规则的应对场景比例变小，机器学习辅助成为必须以数据驱动安全，实现：数据全方位可见 实时安全数据算法分析加人工辅助适合企业的安全运维一体化策略强大的底层存储分析架构和逻辑引擎HanSight安全运维分析系统的优势基于特征库／规则的应对算法分析流程

适合安全分析的无监督学习为主有人工辅助的半监督学习无监督异常分析－人工确定异常－产生标记样本－半监督学习算法分析流程

适合安全分析的无监督学习为主性能基准入库：>

30000EPS实测单独入库最高可接近20000EPS，为保证查询性能，以当前配置可使其较稳定运行查询简单查询一天数据（~3亿条）：<

1s简单查询七天数据（~25亿条）：<

10s采集器性能单个采集器读取文件：~20000EPS（多文件可并行处理）性能基准入库：>30000EPS安全分析3安全分析3大数据安全分析数据日志NetFlow全流量威胁情报资产信息实时数据检测关联分析引擎安全规则库历史数据分析交互分析异常行为分析安全事件网络攻击木马病毒漏洞利用非法访问……安全告警高级中级低级全文检索可视化分析统计分析数据建模机器学习数据泄露病毒爆发登陆异常溯源分析威胁场景还原战损分析处理措施行为基线图分析大数据安全分析数据日志NetFlow全流量威胁资产实时数据检威胁情报安全威胁情报模块大数据安全管理平台安全威胁情报公有云威胁检测请求API调用结果返回结果返回安全威胁情报私有云大数据安全管理平台数据摆渡结果返回安全威胁情更新工具威胁检测请求办公网环境隔离网环境威胁情报安全威胁情报模块大数据安全管理平台安全威胁情报公有云

实时关联分析：大数据安全管理平台通过基于SparkStreaming技术实现的强大的CEP引擎，对系统采集的实时数据流进行关联分析。

关联的模式包括统计关联、资产关联、情报关联、模式关联、漏洞关联、策略关联等；

实时数据分析-关联分析实时关联分析：大数据安全管理平台通过基于Sp

全文检索：历史数据分析-交互分析

可视化分析：

统计分析：全文检索：历史数据分析-交互分析历史数据分析-异常行为分析UEBA：用户／实体异常行为分析：以部门、个人、资产、资产群等为单位建立行为基线；关联用户与资产的行为；用机器学习算法或者预定义规则找出严重偏离基线的异常行为；

采用技术：机器学习／基线分析／图分析：采用无监督机器学习算法；计算结果易于可视化，便于理解；覆盖整个一片安全事件，不是孤立的点；历史数据分析-异常行为分析UEBA：用户／实体异常行为分析：

机器学习：大数据管理平台可建立特定的网络威胁分析模型，定时的对网络中的APT攻击进行检测分析，如僵尸网络、低速扫描、恶意URL分析等机器学习分布式

机器学习算法

Spark集群标准化事件建模器异常检测异常

访问历史学习实时异常检测关联安全

事件历史数据实时数据系统其它日志正常访问

模型机器学习：大数据管理平台可建立特定的网络威胁

基线分析：企业内用户的行为模式，只要所属部门和角色不变，就不会发生太大变化。服务器或者其他资源也类似。通过算法把变化幅度量化，数值超过基准过高的就是异常事件，而安全事件必然是从异常事件开始。基线分析如：三个分析维度：邮件、HTTP访问量、登录。每一个维度包括总量（柱宽度、维度值分布百分比），右边是均值的对比。红色代表异常。所以第一个图表示此用户邮件发给wangjing@163.com的数量（宽度）远大于当天同部门平均值。右边代表其登录失败比例远大于同部门平均值。基线分析：企业内用户的行为模式，只要所属部门和图分析列出单一某个时间段系统／用户

（2/1日8:00-9:00）的行为图下一步的问题：2/1日8:00-9:00和平时8:00-9:00行为有何差异？和其他用户2/1日8:00-9:00的差异？和整个一年的8:00和9:00行为有何差异？图分析列出单一某个时间段系统／用户

（2/1日8:00-9:安全场景（低速扫描）威胁名称：低速扫描数据输入：防火墙日志检测对象：重要服务器长周期通信模型分析过程：用户自定义需要分析的服务器和周期；利用多变量时间序列聚类算法，把源IP按目的端口和目的IP的通讯行为聚合成多类，过滤无异常的类；一张图上可视化每类的每天变化情况，用户可精确定位到具体IP、目的端口、时间；实际效果：作为用户每天基本运维的内容；每个月发现约1～2起低速扫描事件；安全场景（低速扫描）威胁名称：低速扫描分析过程：实际效果：安全场景（撞库攻击）威胁名称：撞库攻击数据输入：网银应用系统访问日志检测对象：网银近400个敏感URL，涵盖注册、登录、密码重置等分析过程：用户自定义需要分析的URL；对这些URL建立ARIMA模型；每天入库信息与模型比对；与模型不匹配则产生预警信息；用户根据预警进一步确认；实际效果：作为用户每天基本运维的内容；目前预警频次约2~3次/周；已帮用户发现及溯源超过20次的风险；安全场景（撞库攻击）威胁名称：撞库攻击分析过程：实际效果：安全场景（账号异常）挑战：随着移动办公和BYOD的普及，企业越来越难从正常的行为找出被盗用的账号行为。HanSight解决方法HanSightEnterprise自动建立特定用户的画像，包括他的合法行为白名单和行为基线用户行为分析引擎侦测用户的异常行为，例如从可疑位置登录，或是访问和平时完全不同的数据或数据量，或是把数据上传至公司外部的可疑地址系统可以提供该用户最近的所有行为给安全管理员进行进一步的详细调查安全场景（账号异常）挑战：安全场景（关联URL访问统计和基线）安全场景（关联URL访问统计和基线）安全场景（奇异值及请求来源分析）安全场景（奇异值及请求来源分析）安全场景（访问时间线分析）安全场景（访问时间线分析）运维分析4运维分析4监控大数据监控分为系统级、应用级、业务逻辑系统级：

硬件和网络状况应用级：

应用软件的健康情况业务逻辑：业务功能和时间延迟监控大数据监控分为系统级、应用级、业务逻辑系统级监控采集端采集SNMP数据系统日志流量数据主动探测现有IT监控系统如：zabbix,

nagios系统级监控采集端采集系统级监控展示（设备状态）系统级监控展示（设备状态）系统级监控展示（网络状态）系统级监控展示（网络状态）分析告警单数据源简单规则，通过对每次最新的监控数据进行阈值比较上下限阈值比较数据存活性比较单数据源组合规则，对简单规则的结果进行进一步的处理，来减少告警量多次告警，当触发的事件在一段时间内超过一定的次数时告警冷却，当同一告警多次出现时，进行相应的冷处理。变化告警，当监控数据与前一时间点差别很大时，进行告警。多数据源组合规则，对多个数据源进行计算后获得：基线告警，当数据与基线数据差别较大时，进行相应的告警组合运算，可以计算比例超过／低于阈值后告警分析告警单数据源简单规则，通过对每次最新的监控数据进行阈值比基线计算规则基线算法以周为单位，寻找前三周相同时间点为采样数据，计算当前时间点的基线。具体算法为：以当前计算时间点为基准，分别向前倒退7天（一周），14天（二周），21天（三周），可以得到三个时间节点:

A1,

A2,

A3；以每一个新时间节点（A1-A3）为基准，分别倒退36小时（A-36h），推前12小时（A+12h），这样将得到一个48小时的区间（B0-B39）在这48小时时间区间内，再以每一个小时为时间区间，取48个采样值，例如交易量基线，则计算每小时交易量的总量数据作为该小时内的采样值通过计算A1-A3的采样值，总计可以获取

48*3=144个采样值计算这144个采样值的均值：V

与方差

：S最后通过配置浮动系数(α)，求得基线数据：V+αS基线计算规则基线算法以周为单位，寻找前三周相同时间点为采样数应用分析5应用分析5应用分析大数据应用分析根据来源可以分为日志数据分析和网络解包分析日志数据分析：

分析应用提供的日志数据，优点是准确，易于扩展，缺点是需要应用支持和部署略复杂网络解包分析：

分析网络流量中的用户数据，优点是对业务无影响，缺点是开发比较复杂应用分析大数据应用分析根据来源可以分为日志数据分析和网络解包数据全文检索/条件检索数据全文检索/条件检索核心SOP交易数据分析（交易返回码和交易量分析）核心SOP交易数据分析（交易返回码和交易量分析）核心SOP交易数据分析（交易成功率分析）核心SOP交易数据分析（交易成功率分析）第一步：建立数据模型第二步：发现可疑号码第三步：钻取关联分析黑洞模型：账户大