2024深度学习可解释性研究与应用

JefreehetenasabTree算法，大致学习深度学习在图像学习如何做预服在树模型探索和与Deeplearning结合方面也做了很多工作。结合我们自身，我们的解接下来介绍下如何将树模型利用到极致。Wide&Deep16模型有不同的特点，但是很多算法都是基于GBDT算法，以chartputs为例，涉及不同的subsimpling和subcorling局部特征采取和垂直种子选取，最后结果是完全不一样，因为授提出在gcForest中不外乎两条树是完全随机的，可以有更大的探索空间。我们也是尽量借助的是Auto-Encoder编码器压缩，目的是去掉比较相似的特征。虽然很多算法不同，GBDT1-2%的相似叶子节点，重要基于上面这个问题，我们基于Wide&Deep架构依据自己业务需求构建了一些模型架构ConditionalMulti-FieldsDeepNeuralNetwork。将稀疏化的数据做一个压缩，取得间连续的特征会有skm做一个embedding，然后利用DNN进行训练。虽然架构有很多模型，但是并不需要使用所有模型，有时只用左边的模型就能满足需求。如果直接利用Google的原始架构Wide&Deep算法，不同的模块运用不同的优化算法，如果权重更新的稳定，最后通过codinglater去限制优化的比例，使更新的比例尽量一致。WE分箱，会用线性回归，会看权重判断输入对输出的影响程度是多少，这也是敏感性分析Worstcaseanalysis、可靠性分析这两个分析更偏工业性些，在金融领域比较罕见。敏感性分析在工业领域尤其是量化领域应用较多，引入敏感性分析目的就是解释黑箱的DN。DNN15SensitivityAnalysisforNerualNetwork10量间基本都有关系，会用到方差分析和Meta-model，散点图是为了直观分析。这是为了AnalysisofVarianceGaussianProcess，这两块可以独立模块，后续会将 X，Y，fnxi，fi的参数不同，最后会有很大差异，因此利用SobolIndex技术将其归一化，就是用求出的Gaussian拟合能力有限，GaussianProcess需要设置很多的操作树和function，这些function是朴素贝叶斯，将变量进行了更复杂的空间映射，找出后验的权重分布，用Inference去估算由输入/参数改变带来的输出在分布上的改变，其具体原理和思路可以参考论文《ProbabilisticSensitivityanalysisofsystemavailabilityusingGaussianProcess》。如果直接拿模型去学习是无法得到结果的。我们之前一直尝试用attention做低频事件学很少。近期由谷歌研究员提出的《Attentionisallyouneed》与DeepMind团队的研究成果《Relationalrecurrentnetrualnetwork》将Attention机制对特征记忆的延续性做著特征进行学习，并将学到的特征进行保留与传承。我们将该算法称为《LowFrequentEventsDetectionwithattentionmechanism》。ScaledDot-ProductAttention很早key，querykey度是多少，将这种影响随value传递下去，最后改变value实际输出值。Mult-HeadAttention是多个组合，做了一些线性变化，目的使特征更加丰富。在《Relationalrecurrentnetrualnetwork》中利用了memorycore机制，给一个以前学习相结合呢，attentionquerykey在MLP模块会做一个二分类，将中间的embedding提出来进入discriminator，机制类似于gate网络。利用其它特征去判别那些分对了哪些没分对，就可以知道你对那些样本敏memorycore些分错的独有的但又有共性的特征来纠正，对output进行纠正，这就是模型的整个思路。MLPembeddingdiscriminator在整个优化过程中分为三块，一个是正常MLP优化过程，discriminator优化过程，以及mc优化后拟合的真是情况。模型训练需要注意的事项有：（1）由于第二个损失函数需要模块的目的不一样，因此所用到的优化算法和优化策略所有不同。（3）选择合适阈值t对模型训练很重要（t>0.8）。（4）选择适当数量的Query和keys。（5）MC模块仅会使用满足判别器要求的样本。（6）MLPdiscriminatordiscriminatorMC块评估的方法主要有：DiscriminatorAccuracy变化。损失函数（1）与损失函数（2）之差可用于评估MC模块的作用。下面介绍一个案例，寿险内部某推荐任务，2（01）170W，目标39WConditionalMulti-FieldsDNN,稠密数据部分使用了：（1）DNN（2）AttentionMechanism训练细节：在引入AttentionLossMCaccuracyMLPdifference改变越来越大就说明memory模块起作用。利用DNN82.35（得分前23%的预测样本为正样本。但是不是按0.5，需要根据样本实际情况定义阈值；（3）其中正样本的预测准确的样本约24W61.5388.54（4的样本被判断对错的情况。换句话说，在被错误归类的样本中，有8.96%的样本在当前低有机会被MC纠正的样本量的上限为8.69%；（6）经过最终统计，有6.97万的样本通过MC得到的纠正。占总样本的4.1%。其中正样本占2.1万。得到纠正的正样本占总正样本的5.38%。③主模块（MLP）④