基于NLP的日志异常检测方案

1、基于NLP的日志异常检测方案影响用户体验造成经济损失服务异常2010年5600美元/分钟2019年9000美元/分钟数据中心设备宕 机平均时间成本服务/设备异常2日志描述了KPI曲线无法体现的一些事件流量图CPU利用率传统的异常检测做法：监控KPI曲线信息量较少3异常分析ID消息时间戳消息类型详细消息设备1Jun 12 19:03:032014SIFInterface te-1/1/59, changed state to down服务3Jul 15 11:05:072015OSPFNeighbour(rid:3, addr:1) on vlan23,

2、 changed state from Exchange to Loading设备5Jan 12 21:03:012016%SLOTSFP te-1/1/33 is plugged in, vendor: BROCADE, serial number: AAA210383148232服务/设备日志消息无结构文本4日志消息包含丰富的信息包含与服务/设备状态有关事件邻居节点异常端口状态改变板卡的插拔DDoS攻击提取事件对异常进行检测5基于日志的异常检测与预测支持增量式学习快速模板匹配准确提取事件日志解析基于部分异常标记学习各种设备/服务通用准确提取异常日志特征基于单条日志异常检测保留模板语义自动处

3、理新模板兼顾序列和数量特征基于日志序列异常检测日志异常检测6基于日志的异常检测与预测支持增量式学习快速模板匹配准确提取事件日志解析基于部分异常标记学习各种设备/服务通用准确提取异常日志特征基于单条日志异常检测保留模板语义自动处理新模板兼顾序列和数量特征基于日志序列异常检测日志异常检测7Interface ae3, changed state to downVlan-interface vlan22, changed state to downInterface ae3, changed state to upVlan-interface vlan22, changed state to upI

4、nterface ae1, changed state to downVlan-interface vlan20, changed state to downInterface ae1, changed state to upVlan-interface vlan20, changed state to up8属于“SIF”消息类型的日志消息Interface *, changed state to downVlan-interface *, changed state to downInterface *, changed state to upVlan-interface *, chang

5、ed state to up9属于“SIF”消息类型的日志消息日志处理普遍做法从日志消息中提取模板将日志消息匹配到模板准确提取日志事件影响后续异常检 测准确性支持增量式学习每天产生数千万 条日志历史日志周期长模板匹配效率高日志数量巨大10日志处理11方法准确性增量式学习模板匹配效率特征树方法 (IMC 10)高不支持高STE (INFOCOM 14)低不支持低LogSimilarity (CNSM 15)低支持低普遍做法从日志消息中提取模板将日志消息匹配到模板日志处理方法发表出处优点缺点特征树方法IMC 10准确性高不支持增量式学习，计算开销大准确的，支持增量式学习的，高效的学习消准息确模性低

6、板，机不制支STEINFOCOM 14无持增量式学习LogSimilarityCNSM 15支持增量式学习准确性低12普遍做法从日志消息中提取模板将日志消息匹配到模板支持度：如果一个单词W在某个日志消息中出现，则W的支持度+1 扫描所有消息，对单词以支持度降序排列，存储进映射MM13构建FT-tree单词支持度“changed”, “state”, “to”8“Interface”, “Vlan-interface”, “up”, “down”4“vlan20”, “vlan22”, “ae1”, “ae3”2构建FT-tree14对每一个消息中的单词以支持度降序排列Interface ae3

7、, changed state to downV1 = “changed”, “state”, “to”, “Interface”, “down”, “ae3” Vlan-interface vlan22, changed state to downV2 = “changed”, “state”, “to”, “Vlan-interface”, “down”, “vlan22” Interface ae3, changed state to upV3 = “changed”, “state”, “to”, “Interface”, “up”, “ae3” Vlan-interface vlan

8、22, changed state to upV4 = “changed”, “state”, “to”, “Vlan-interface”, “up”, “vlan22”M构建FT-tree15V1 = “changed”, “state”,“to”, “Interface”, “down”, “ae3”16构建FT-treeV1 = “changed”, “state”,“to”, “Interface”, “down”, “ae3”V2 = “changed”, “state”, “to”, “Vlan- interface”, “down”, “vlan22”17构建FT-treeV3

9、 = “changed”, “state”, “to”,“Interface”, “up”, “ae3” 18构建FT-tree19构建FT-treeV3 = “changed”, “state”, “to”,“Interface”, “up”, “ae3” 点为消息类型FT-tree定义20nFT-tree的根节点为消息类型根节点只有一个域，即所表示的单词FT-tree定义21nFT-tree的根节点为消息类型n非根节点只有一个域，即所表示的单词n构建完FT-tree之后需要剪枝包含有超过阈值P的子节点FT-tree定义22nFT-tree的根节点为消息类型n非根节点只有一个域，即所表示的单

10、词n构建完FT-tree之后需要剪枝包含有超过阈值P的子节点ree之后需要剪枝包含有超过阈值P的子节点n叶子结点到根节点的单词组成模板FT-tree定义25nFT-tree的根节点为消息类型n非根节点只有一个域，即所表示的单词n构建完FT-tree之后需要剪枝包含有超过阈值P的子节点n叶子结点到根节点的单词组成模板准确支持增量式学习 计算开销低26FT-tree定义nFT-tree的根节点为消息类型n非根节点只有一个域，即所表示的单词n构建完FT-tree之后需要剪枝包含有超过阈值P的子节点n叶子结点到根节点的单词组成模板验证与评价准确性接近100%27n对比准确性以人工标记数据为依据四种日志

11、消息类型方法FT-tree特征树方法STELogSimilarity模板训练时间51分钟628小时100小时80分钟计算效率提高了117倍到730倍28验证与评价n对比计算效率每天产生1千万日志是否需要重新训练以匹配新类型的消息29基于日志的异常检测与预测支持增量式学习快速模板匹配准确提取事件日志解析基于部分异常标记学习各种设备/服务通用准确提取异常日志特征基于单条日志异常检测保留模板语义自动处理新模板兼顾序列和数量特征基于日志序列异常检测日志异常检测匹配日志类 型 1配置异常日志对应 的正则表达式异常正常忽略类 型 n28在实际应用中，大多数公司使用正则表达式来对日志做分类运维工程师当前的日

12、志异常检测与分类顺序不对使用正则表达式的例子:正则表达式*GigabitEthernet *(d+)/0/(d+).* protocol down.大小能匹配的日志Interface TenGigabitEthernet 1/0/13 is protocol down.无法匹配的日志Interface TenGigabitEthernet 1/0/13 is PROTOCOL DOWN无法匹配的日志Interface TenGigabitEthernet 1/0/13 protocol is down.写不一样正则表达式的缺点手动编辑，工作量大算法效率低不通用希望能够自动检测 异常日志并对异常

13、 日志做分类当前的日志异常检测与分类29日志异常检测异常日志指示异常的日志健康日志与异常无关的日志异常日志分类表明异常的原因e.g., 丢包、重 启30日志异常检测与分类问题定义异常日志检测31异常日志分类日志异常检测与分类问题定义不同服务/设备通用的模型不同服务/设备的日志具有不同的格式不完整的标注只有部分异常的日志具有标注无法训练传统的分类模型32面临挑战历史日志实时日志过滤参数PU二分类 分类器词汇表TF-ILF向量多分类分 类器异常标注过滤参数TF-ILF向量异常日志检 测异常日志分 类告警离线学习部分Top-nKeywords33在线分类部分日志预处理特征向量异常日志检测异常日志分类

14、LogClass系统框架构造文本特征向量的通用方法是词袋模型(bag-of-words)L1Interfacete- 1/1/59changedstatetodownL2VlanInterfacevlan22changedstatetoupL3Neighbourvlan23changedstatefromExchangetoLoading文本特征向量日志单词：InterfacechangedstatetodownVlanInterfaceNeighbourfromExchangeLoadingupL111111000000L201110100001L301110011110词袋模型34通常，每

15、个文本特征向量都被分配一个权重，TF-IDF是最流行的加权方法词频(term frequency, TF)： 某一个给定的单词在该日志消息中出现的次数逆向文件频率 (inverse document frequency, IDF)：与包含某单词的日志消息的数目成反比IDF越大，说明该单词具有越大的类别区分能力VlanInterfaceNeighbourfromExchangeLoadingupL1 L2 L3文本特征向量:单词： Interfacechangedstatetodownchanged35statetodownVlanInterfaceNeighbourfrom1111100000

16、00111010000101110011110ExchangeLoadinguplog(3)log(1)log(1)log(1)log(3)0000000log(1)log(1)log(1)0log(3)0000log(3)L1 L2L3 0log(1)log(1)log(1)00log(3)log(3)log(3)log(3)0TF-IDF向量:单词： InterfaceTF-IDF在多条日志消息中出现的单词并不一定是不重要的单词例如，表明端口开/关的日志经常出现，所以该类日志中的”Interface”也经常出现。在多个文本出现的单词并 不一定是不重要的单词 (与IDF的思想矛盾)在不同日志

17、中的不同位置出现过 的单词，通常是不重要的单词36对日志的观察TF(Term Frequency)某一个给定的 单词在该文件 中出现的次数一般在计算TF 时需要归一化ILF (Inverse Location Frequency)某个单词出现 过的位置越少， 说明它越独特对日志分类越 重要结合TF-ILF考虑频次考虑位置37TF-ILF40特征向量标注传统分类算法分类模型PN learning(i.e., 监督学习)PNU learning(i.e., 半监督学习)PU learningP & N 数据是用来训练的数据:positive dataP , N & U数据是用来训练的数据P & U

18、数据是用来训练的数据: negative data: unlabeled data (Gang Niu et al. NIPS16)但是，只有部分异常日志具有标注只有部分异常日志被标记运维人员并未标记所有的异常日志为什么要使用PU Learning1 ?PU Learning的输入Positive集合 P (异常日志)Unlabeled集合U (无标注日志)Positive集合P (异常日志)Negative集合N(健康日志)39PU Learning 的输 出1 Elkan C, Noto K. Learning classifiers from only positive and unla

19、beled dataC/Proceedings of the 14th ACM SIGKDD international conference on Knowledge discovery and data mining. ACM, 2008: 213-220.PU learning异常日志检测(二分类)： PULearning+随机森林标记的positive数据 非常少随机森林更适合处理样 本不平衡的情况异常日志分类(多分类)： SVMSVM准确率高40通过模型参数来得到不 同类别对应的关键词分类器的选择异常日志检测的实验结果41LogClass检测到异常日志的case评估异常日志检测运维工

20、程师的人工 确认有效使用了150条实际 应用的正则表达式42LogClass、L- LDA与Regular Expression的对比INTERFACE_DOWN类别中最重要的5个词评估异常日志分类支持增量式学习快速模板匹配准确提取事件日志解析基于部分异常标记学习各种设备/服务通用准确提取异常日志特征基于单条日志异常检测保留模板语义自动处理新模板兼顾序列和数量特征基于日志序列异常检测日志异常检测基于日志的异常检测与预测43文本日志序列的特点日志模板是可以代表一类日志同一模板下的只有变量单词不一样有些日志存在某种数量性关系例如down/up日志的数量应该是相等的同一事件/会话产生的日志存在序列性

21、关系例如OSPF启动需要经历“Down Attempt Init Two-way Exstart Exchange Loading Full”8个过 程日 志 模 板 ： T1. Interface *, changed state to down T2. Vlan-interface *, changed state to downT3. Vlan-interface *, changed state to up T4. Interface *, changed state to up日志 - 模板编号:L1-T1,L2-T2,L3-T4 L4-T1,L5-T3,L6-T4日志模板编号序列:

22、T1, T2, T4, T1, T3, T4日 志 : L1. Interface ae3, changed state to down L2. Vlan-interface vlan22, changed state to downL3. Interface ae3, changed state to up. L4. Interface ae1, changed state to downL5. Vlan-interface vlan22, changed state to upL6. Interface ae1, changed state to up44现有日志序列异常检测T1. Int

23、erface *, changed state to down2T . Vlan-interface *, changed state to downT3. Interface *, changed state to upT4. Vlan-interface *, changed state to up日志 - 模板编号:L1-T1,L2-T2,L3-T3 L4-T1,L5-T4,L6-T3日志模板编号序列:T1, T2, T3, T1, T4, T3日志:1L . Interface ae3, changed state to downL2. Vlan-interface vlan22, c

24、hanged state to down L3. Interface ae3, changed state to up.L4. Interface ae1, changed state to downL5. Vlan-interface vlan22, changed state to up L6. Interface ae1, changed state to upLogCluster (ICSE16)IM(ATC10)T , T , T , T , T12314滑动/会话窗口t t t t tT1, T2, T3, T1, T4t t t t tt t t t tT1, T2, T3, T

25、1, T4DeepLog (CCS17)111计数矩阵v1 v2 v3111110101v4 Cj 0Cj+1 0Cj+2 1Cj+3 11 2 3v2 v3 v1v3 v1 v4v v v v1 v4v3sequencenextt t t t tT , T , T , T , T12314t t t t tT1, T2, T3, T1, T4t t t t tT1, T2, T3, T1, T4现有多条日志异常检测方案滑动/会话窗口45提取日志模板日志模板异常检测日志模板：PreFix(SIGMETRIS1P8)CA(SOSP09)数量关系顺序关系现有日志序列异常检测日志模板：T1, T2,

26、 T3, T1, T4, T3T , T , T , T , T12314滑动/会话窗口t t t t tT1, T2, T3, T1, T4t t t t tDeepLog (CCS17)计数矩阵v1 v2 v3v4Cj1110Cj+11111 2 3v2 v3 v1v3 v1 v4v3sequencenextv v v v1 v4T , T , T , T , T12314t t t t tT1, T2, T3, T1, T4t t t t tT1, T2, T3, T1, T4现有多条日志异常检测方案志:T1. Interface *, changed state to downt t

27、t t t0Cj+2101Interface ae3, changed state to downT2. Vlan-interface *, changed state to downT1, T2, T3, T1, T41LogCluster (ICSE16)IM(ATC10)Vlan-interface vlan22, changed state to down T3. Interface *, changed state to upCj+3101Interface ae3, changed state to up.T4. Vlan-interface *, changed state to

28、 up1Interface ae1, changed state to down日志 - 模板编号:Vlan-interface vlan22, changed state to upL1-T1,L2-T2,L3-T3Interface ae1, changed state to upL4-T1,L5-T4,L6-T3滑动/会话窗口日志模板编号序列:t t t t t提取日志模板日志模板异常检测日L2.模板编号对比过于苛刻,没有考虑模板语L3.L4.L6.义46PreFix(SIGMETRIS1P8)CA(SOSP09)数量关系顺序关系当前方法存在的问题仅使用日志模板编号会丢失有价值的信息有些

29、日志模板相似但是模板编号不一致无法解决新的日志模板设备会在运行中产生新类型日志不能同时检测日志序列性和数量性异常47日志序列异常检测目标保留模板语义信息设计新型模板表示方法自动处理新出现的模板实现模板有效融合兼顾日志序列性和数量性异常设计统一日志序列异常检测机制48LogAnomaly系统框架历史日志模板序列模板实时日志模板序列模板向量已存在的 向量向量序列向量序列Model相似度对比输出离线学习在线检测临时模板提取template2Vec更新匹配匹配分类近义词 反义词template2Vec词向量模板向量 template2Vec模板向量 序列计数向量LSTMLSTMAttentionCjv

30、(sj) v(sj+l) v(sj+w一l)v(sj+w)Cj+1 Cj+w-149模板向量表示方法对日志的观察一些日志存在相似的语法包含反义词的日志语义相反解决方案（template2Vec）结合领域知识考虑近义词反义词将日志模板表示成向量T1Interface*changedstatetodow nTn+1Vlan-interface*changedstatetodow n领域知识模板词向量Interfac ex,x,xc模ha板ng向ed量x,x,xV1x,x,xVn+1x,x,x近义词反义词InterfaceVlan- interfacedownup(1)(2)(3)(3)匹配现有 向

31、量Logs:Tem1.Interface ae3, changed state to down1.In 2.Vlan-interface vlan22, changed state to down2.Vl 3.Interface ae3, changed state to updow 4.Vlan-interface vlan22, changed state to up 3.In 5.Interface ae1, changed state to down4.Vl 6.Vlan-interface vlan20, changed state to downnew 7.Interface ae

32、1, changed state to updow 8.Vlan-interface vlan20, changed state to up Lognew: 9.Port 80 , changed state to down L1-L5-newplates：terface *, changed state to down wnan-interface *, changed state tonterface *, changed state to upan-interface *, changed state to up wn: 5.Port * , changed state wonsTemplates:T1 L2-T2 L3-T3 L4-T4T1 L6-T2 L7-T3 L8-T4: L9-T5日志:1.Interface ae3, changed state t