XAI与可信任安全智能解读

1、XAI与可信任安全智能解读技术创新，变革未来提纲1可信任的安全智能2XAI与模型可解释性3XAI+Security实践1可信任的安全智能人工智能图片来源：中国信息通信研究院和中国人工智能产业发展联盟安全智能（恶意）软件分析 恶意代码检测、分类、 家族，漏洞挖掘流量分析Web攻击、DDoS、恶 意软件通信、DGA、加 密流量入侵检测异常检测、行为预测、 实体画像团伙挖掘情报、APT欺诈检测、风控 网站指纹攻击 恶意邮件协议分析 AI对抗 4文本分析、目标检测、图像识别、聚类、词嵌入、图嵌入、社团分析云、物联网、5G、边缘、AI平台端点、网络、文件、行为、情报、蜜罐免费的午餐？不存在的对抗预期现状

2、阶段一：需要大量标注数据；经验化调参；未来：模型易调试、决策可解 释、自动化知识提取、 人机交互，高度自动化技术认知基本：依赖专家样本分 析、写规则、分析结果现状阶段二：测试集上高性能，实际高误报；相对专家规则的一目了然，模 型说啥就是啥？还是要人工确认；理想：相对于专家规则，基于 机器学习、深度学习的方法大 幅自动化分析流程现状阶段三：伴生新的安全问题合规、道德约束可信任的安全智能=可信人工智能+安全场景可解释性性能安全性合法合规道德约束可审计技术层面数据处理算法模型系统架构评估方法非技术层面法规标准涵盖面最广，透明可解释是 核心需求之一常被列为隐含选项，是安全 场景下需要优化的目标之一合规

3、、合法、公平、可控、 以人为本可信任的核心需求与主要技 术实现之一提纲1可信任的安全智能2XAI与模型可解释性3XAI+Security实践XAI与模型可解释性2XAI定义XAI (eXplainable Artificial Intelligence)XAI定义https:/www./program/explainable-artificial-intelligenceXAI (eXplainable Artificial Intelligence)Black BoxMachine Learning ProcessTraining DataLearned FunctionTodayWhy d

4、id you do that?Why not something else?When do you succeed?When do you fail?When can I trust you?How do I correct an error?Decision or RecommendationTaskUserXAI定义XAI (eXplainable Artificial Intelligence)https:/www./program/explainable-artificial-intelligenceNew Machine Learning ProcessTraining DataXA

5、II understand whyI understand why notI know when you succeedI know when you failI know when to trust youI know why you erredTaskUserExplainable ModelExplanation InterfaceExplainable Modelsdevelop a range of new or modified machine learning techniques to produce more explainable modelsExplanation Int

6、erfaceintegrate state-of-the- art HCI with new principles, strategies, and techniques to generate effective explanationsPsychology of Explanationsummarize, extend, and apply current psychological theories of explanation to develop a computational theoryXAI热点Gartner 2019https:/smarterwithgartner/5-tr

7、ends-appear-on-the-gartner-hype-cycle-for-emerging-technologies-2019/ https:/smarterwithgartner/top-trends-on-the-gartner-hype-cycle-for-artificial-intelligence-2019/XAI热点学K工微术圈DD、ICML、NIPS及IJCA业圈软、谷歌、Oracle、IBMI等等著名国际性会议都有覆盖XAI话题的Workshop、DARPA等诸多科技巨头，都在开展XAI技术研发可解释性的缺失可解释性与预测性能的微妙平衡高准确率、低误报率等高性能、高

8、容量模型普遍缺乏可解释性高维度、非线性、非单调（高维数组、集成模型、深度模型）天下没有免费的午餐，我们很难苛求机器完全按照人类可理解的方式去工作并输出，同时保 持远高于人类的效率可解释性的缺失可解释性与预测性能的微妙平衡缺乏可解释性又怎样？科学 or 玄学重新训练及更新？调参？换模型？人工？缺乏可解释性又怎样？可解释性性能可信任的战友高性能，可解释高度自动化人工智能人工做低性能，难解释面子工程入门小白低性能，可解释轻量级任务神秘的黑盒子高性能，难解释偶尔智障？缺乏可解释性又怎样？非关键任务及场景：智能客服/家居，推荐，语音问答，图 像识别关场、键任务及景：军事网络安全、金融、医疗、交通刑事审判

9、假释判断再犯预测警力调度金融信用/贷 款评估保险报价医疗保健疾病检测处方推荐网络安全威胁检测风险评估自动响应军事目标识别自动打击当机器智能可解释讲人话，能办事，可信任向使用者证明结果是稳定的、准确的、道德的、无偏见的、合规的，从而提供决策的支持以 及AI自身安全性的可视性向开发者提供模型改进、调试的基础信息向研究者提供机器洞见，展现被人忽视、难于发现的潜在规律提升安全运维的处置效率提升安全研究自动化水平 提升安全产品性能支持技术合法合规需求模型可解释性技术概览技术解释阶段/方式解释域模型相关性内在可解释 (Intrinstic)建模后解释 (Post-hoc)全局解释性 (Global)局部解

10、释性 (Local)模型相关 (Model-specific)模型无关 (Model-agnostic)Decision treesGraph-basedLIMESHAPDeepLiftGlobal surrogate modelsPartial Dependence Plot(PDP)Model distillation模型可解释性技术概览可解释的机器学习方法算法Algorithm线性Linear单调性Monotone特征交互Interaction面向任务TaskLinear regressionYesYesNoregr(回归)Logistic regressionNoYesNoclass(

11、分类)Decision treesNoSomeYesclass,regrRuleFitYesNoYesclass,regrNaive BayesNoYesNoclassk-nearest neighborsNoNoNoclass,regrhttps:/christophm.github.io/interpretable-ml-book/simple.html图模型IBM Threat Intelligence ComputingMITRE CyGraphNoDozeHolmes优化原生难解释的模型模型可解释性技术概览PDP(Partial Dependence Plot)全局代理模型(Glob

12、al Surrogate Models)特征归因(Feature Attribution)可视化分析某特征值变化对模 型预测的影响以模型预测值为样本标签，重 新训练代理模型多种方式确定分类器决策时最关键的特征集合： 基于反向传播（Class Activation Mapping）、 博弈论（SHAP）、局部代理模型（LIME）等等建模后的可解释性特征归因 LIMELEMNA: Explaining deep learning based security applications建模后的可解释性特征归因 LEMNAFused LassoMixture regression model如何构建可

13、解释的模型可解释的定义、粒度、规范以任务目标为导向的可解释定义可解释的输入/输出“以人为本”的，而非“机器为本”的预处理、特征提取可解释的模型针对任务目标的可解释方法选择、优化可解释性的评估如何有效、量化评估解释结果的真实性提纲1可信任的安全智能2XAI与模型可解释性3XAI+Security实践XAI+Security实践3一次Webshell流量检测探索基本原理一次Webshell流量检测探索基本原理/docs/DOC-107175一次Webshell流量检测探索中国菜刀postbodypass=eval(base64_decode($_POSTz0);&z0=.tIik7ZGllKCk7

14、&z1=.93d3cva HRtbC8%3D-/developer/news/116802专家规则（Snort，IDS）alert tcp any any - any 80 ( sid:900001; content: “z1”;content:”base64_decode”; http_client_body;flow:to_server,established; content:”POST”; nocase;http_method; ;msg:”Webshell Detected Apache”;)-FireEye，2014一次Webshell流量检测探索 Layer (type) Out

15、put ShapeParam #=dense_1 (Dense)(None, 512)2560512 dropout_1 (Dropout)(None, 512)0 dense_2(Dense)(None, 10)5130=Total机器学习：百万量级标签数据，准确率可观 99.8%params Trainable paramsNon-trainable params: 2,565,642: 2,565,642: 0不可信任的技术打开Pcap确认 误报以及更多的误报调参以及没完没了的训练、更新Just Shut Up使用LIME内核解释模型alert tcp any any - any 80

16、( sid:900001; content: “z1”;content:”base64_decode”; http_client_body;flow:to_server,established; content:”POST”; nocase;http_method; ;msg:”Webshell Detected Apache”;)Payload解释使用LIME内核解释模型c 6 Amd=eval%28%22Ex%22%.3A496620457272205468656E6578743A45E6420573706F6E73652E5772697465285329%22%22%22%22%29%29%3Response.Write%28%2%29%3AResponse.End%22%22%.%29Payload解释Webshell规则提取整体架构Webshell规则提取规则命中Webshell规则提取99.2%0.26%98.9%115/388总体准确率告警误报率攻击回召率规则命中数/规则总数模型的泛化能力规则泛化能力无监督的方式数据的局限性解释的准确性场景的想象打开黑箱发现了什么模型确实能够学习到与人直观感觉一致的论据模型能够发现大量数据中容易被人忽略的其他相关性模型