用于无监督异常发现的几何方法

用于无监督异常发现的几何方法框架无标签数据的入侵检测无需清理好的数据集可用作历史数据分析的反馈无监督异常监测的优势将数据映射到特征空间选取数据特征特征空间映射根据空间距离找出异常值聚类KNNSVM几何框架方法灵活性：可选取不同数据特征进行映射，应用同一种算法进行异常值检测使用几何框架方法的优势使用几何框架方法的假设前提正常数据量>>异常数据量异常数据值与正常数据值十分不同数值数据标准化（计算方差/平均值）数值敏感->分部敏感离散数据将离散属性i所有可能的值记为Σi对于任何一个属性都有|Σi|个与之对应的坐标一个坐标包含所有属性值与属性值相联系的坐标有正值1/|Σi|其余与特征相联系的坐标记值为0属性i不同的两条记录值被记成映射—选取数据特征1

网络连接记录使用SpectrumKernel特征空间为|Σ|k维空间，每一个坐标系（coordinate）对应一个特定的k长度的子连续数据特征空间中特定的坐标系所对应的值为子连续数据在连续数据中出现次数的数值映射—选取数据特征2

Sequenceofsystemcalls样本点为x1,x2…xi样本点存在的空间为输入空间X映射至特征空间Y，记为： Ф：X->Y向量y的范数为与自己的内积映射—特征空间映射1两个项量之间的距离公式：对应的X1,X2的距离为映射—特征空间映射概念：x,z∈X,X属于Rn空间,非线性函数Φ实现输入空间X到特征空间F的映射,其中F属于Rm，n<<m。核函数技术接收2个低维空间的向量，能够计算出经某变换后高维空间里的向量内积值。映射—特征空间映射2

核函数映射—特征空间映射3

ConvolutionKernels卷积核步骤计算所有点两两间距离距离小于半径w，则两点相近，计算邻近点数量N(x)N(x)=|{s|d(x,s)<=w}|N(x)小则代表邻近点少，邻近点少的则为异常值缺陷计算量太大，计算复杂度为O(n2)异常值判断—聚类1在计算机科学中，算法的时间复杂度是一个函数，它定量描述了该算法的运行时间。这是一个关于代表算法输入值的字符串的长度的函数。时间复杂度常用大O符号表述，不包括这个函数的低阶项和首项系数。使用这种方式时，时间复杂度可被称为是渐近的，它考察当输入值大小趋近无穷时的情况。举例，如果一个算法对于任何大小为n的输入，它至多需要5n^3+3n的时间运行完毕，那么它的渐近时间复杂度是O(n^3)。计算复杂度步骤选取一点作为第一个簇的中心如果下一个点在距离簇中心w距离的范围内，将点加入簇内如果不在，以此点为中心，建立半径为w的新簇重复以上两步直至所有点都计算结束，一个点可能会加入多个簇N(c)为簇中点的数量，N(x)≈N(c)，x为簇中不为中心的点N(x)小的则为异常值异常值判断—聚类2

Fixedwidthclusteringalgorithm异常值判断—KNN1步骤计算样本点至KNNs的距离总和，计为KNN

score密集区域的KNNscore相对较小缺陷计算复杂度太高，为O(n2)异常值判断—KNN2步骤使用Fixedwidthclusteringalgorithm的方法将每个样本都添加到一个簇中C为所有簇组成的簇集合P为有可能成为KNN的点集K为KNN点集P、K初始为空计算样本点x到所有簇中心的距离将距离x最近的簇从C中移动至集合P定义结合性质3，可得的点一定比C集