《不确定性人工智能》课程教学云变换

1、1高 斯 云 变 换Gaussian Cloud Transformation不确定性人工智能课件之六定性定量转换的认知模型，怎么用？认知过程中的多粒度、多概念，如何实现？在不同粒度、不同层次间的概念，是树结构？思 考人类智能的一个公认特点，就是能够从不同粒度、不同层次上观察和分析同一问题。 从较细粒度的概念跃升到较粗粒度的概念，是对信息或知识的抽象，可以使问题简化，通常这一过程称为数据简约或归约。 用粗粒度概念观察和分析信息，忽略了细粒度上的细微差别，寻找共性。 反之，从较粗粒度到细粒度，则可发现纷繁复杂的个性特征，更准确地区分差别，个性要比共性丰富和典型。 粒计算是研究和模拟人类从不同粒度

2、、不同层次对事物进行表示、分析和推理的方法，是人工智能中智能信息处理技术研究的一个重要方向。目前主要模型：模糊集、粗糙集、商空间、云模型。 模糊集是最早提出的一种粒计算方法，其对经典集合论进行了扩展，利用隶属度和隶属函数描述概念外延的亦此亦彼性。粗糙集、商空间基于等价关系或者模糊等价关系进行集合划分、集合运算、集合约简等。 云模型基于概率的方法解释隶属度，建立随机性与模糊性的关联，研究人类认知中概念内涵与外延间的定性定量转换。 多粒度、多层次概念生成、选择和优化是粒计算研究中的难题！一、粒度与泛概念树二、高斯变换的启示三、高斯云变换算法四、云变换应用课程内容一、粒度与泛概念树 粒度原本是一个物

3、理学的概念，是指物质微粒大小的平均度量。在这里被借用作为对概念中包含信息量的度量，从不同概念层次分析和处理论域空间中的数据，就是从不同粒度理解这些信息量。 我们把云模型作为表示概念的基本模型，期望等同于模型中的核，而数据相对于核的离散程度通过熵来反映，说明概念粒度的大小，超熵可以作为概念成熟度的度量。Slingo Julia, Bates Kevin, and Nikiforakis Nikos. et. al ; Developing the next-generation climate system models: challenges and achievementsPHILOSOPH

4、ICAL TRANSACTIONS OF THE ROYAL SOCIETY A-MATHEMATICAL PHYSICAL AND ENGINEERING SCIENCES vol: 367 (1890): 815-831, MAR, 2009.大量具有自组织能力的个体之间动态交互形成的复杂系统，在不同层次和粒度上常常呈现出共同的行为特征。低层次、细粒度上的群体交互行为可能在高层次上产生影响，甚至导致复杂系统的涌现或混乱。因此，复杂系统常常具有多层次、多粒度、随时间演化、爆发、涌现等特点。一棵年龄概念树 概念树上的不同概念对应的数值区间界限分明，不允许有亦此亦彼的过渡现象存在，缺少了概念固有

5、的模糊性。 例如，44岁和45岁属于两个不同的年龄概念过于武断；隶属关系单一，无法反映一个属性值可能同时属于多个上层概念的现象。 概念树通常是与特定情境和主题相关的，具有相对性。例如1995年世界卫生组织将“中年”划定为45-65岁，2000年为45-59岁。再例如美国将“中年”划定为40-65岁，葡萄牙为29-51岁，日本和中国为40-60岁。因此，概念树的结构常常和问题域的时间、地区等相关。 人们在对概念认知的过程中，很多时候并不存在层次结构分明、边界划分明确的唯一的树形结构，概念之间或许存在交叠，一个低层次的概念也可以隶属于多个高层次的概念，整体呈树状结构、局部呈现出网状结构，称之为泛概

6、念树。如何构建泛概念树？二、高斯变换的启示 空间变换或域变换是科学研究中常用的一种方法。在一个空间中呈现复杂状态的问题转换到另一个空间，可能就会变得简单而容易理解了。例如物理学中的傅里叶变换可以将一个时域的函数变换为频域里多个正弦函数的叠加，反之亦然，这种变换具有唯一性，快速傅里叶变换是现代工程应用中的一个重要工具。 有没有一种方法能实现数据到多粒度、多概念的自动变换？高斯混合模型GMM：任意一种概率分布都可以分解为若干个高斯分布之和，可以通过EM算法估计每个高斯分布的参数。将问题域的一个频度分布转化为若干高斯分布叠加的过程称之为高斯变换(Gaussian Tranformation, GT)

7、。 根据中国工程院网站（）公布的院士年龄分布数据，至2012年4月中国工程院现有院士776名，年龄分布在43岁至99岁之间，男性院士740名，女性院士36名，超过80岁的资深院士206名。中国工程院院士群体年龄分布图 multiple granularity concept?So much overlapped? 高斯变换只是一种数学拟合，没有考虑人类在特定情境和主题下的认知，不涉及概念的语义；高斯变换本身，没有体现概念的形成机理，没有考虑“类内关系强、类间关系弱”的分类原则。如何体现“类内关系强、类间关系弱”？如何选择优化概念的数量、粒度和层次？在高斯变换中，概念的共识程度与概念之间的交叠相

8、关，交叠越少，说明概念划分越清晰，外延汇聚，越能形成共识；反之，交叠越多，说明概念外延发散，划分混乱，越难以形成共识。因此可以利用高斯变换中高斯分布的交叠程度，计算高斯云的熵和超熵，进而获得概念含混度：CD=3He/En 。高斯云变换的基本思想 对于任意两个相交的高斯分布，以它们目前的标准差作为最大值，保持它们的期望不变，进行标准差等比例缩减，直至它们的弱外围元素不相交 ，此时可以获得标准差的最小值，根据高斯云模型的定义标准差服从高斯分布N(En,He2)，可以计算所出每个概念的熵En和超熵He。 对于高斯变换中的第k个高斯分布，分别计算其与左右相邻两个高斯分布之间的重叠程度，如果他们的弱外围

9、元素都不重叠，说明这个高斯分布表示的概念划分非常清晰， 否则，说明此概念与相邻概念之间存在划分不清晰的重叠区域，保持期望值不变，对他们的标准差按等比例进行缩减，计算获得与左侧相邻概念之间弱外围元素不重叠的缩减比例 满足 计算获得与左侧相邻概念之间弱外围元素不重叠的缩减比例满足 第k个高斯分布由于概念划分不清晰引起的标准差变化范围为 根据高斯云的定义，熵是标准差的期望，超熵是标准差的标准差，同样符合3sigma原则 ，因此：不同区域内的云滴群对定性概念的贡献(x)1ExEx-0.67EnEx+0.67EnEx-EnEx+EnEx+2EnEx-2EnEx-3EnEx+3En骨干元素基本元素外围元素

10、外围元素弱外围元素弱外围元素骨干区：50% Ex-0.67En, Ex+0.67En基本区：68.26% Ex-En, Ex+En外围区：27.18% Ex-2En, Ex-En和Ex+En, Ex+2En弱外围区：4.3% Ex-3En, Ex-2En 和Ex+2En, Ex+3En概念之间的交叠程度标准差缩放比概念含混度定性描述期望相同01雾化骨干区交叠( 0, 0.223 )( 0.6354 , 1 )含混骨干区不交叠基本区交叠0.223 , 0.333)(0.5004 ,0.6354较含混外围区交叠0.3333 , 0.667)(0.2,0.5004较成熟弱外围区交叠0.667 , 1

11、)(0 , 0.2成熟弱外围区不交叠10非常成熟三、高斯云变换算法 利用高斯变换进行概念分类时，根据每个样本点对应在每个高斯分布上的概率值大小决定它属于哪个概念，元素与概念之间是确定的非此即彼的，这种硬划分方法不能体现概念之间，尤其是位于边缘不确定性区域元素的亦此亦彼性，而高斯云中的熵和超熵不但可以解决这个问题，还可以用来衡量高斯变换划分出的概念含混程度。 为此，我们提出启发式高斯云变换算法。 启发式高斯云变换 利用先验知识预先给定概念个数M，调用高斯变换，分别获得M个高斯分布的期望、标准差和幅值，这M个高斯分布的期望就是高斯云的期望，根据高斯分布之间的交叠程度，计算生成每个高斯云的熵、超熵和

12、含混度。这样一来，就将定量的数据统计分布函数，通过高斯云变换转变为一个个定性的认知概念，而且根据概念含混度，可对概念划分的清晰程度进行排序。（Heuristic Gaussian Cloud Transformation，H-GCT） 算法：H-GCT输入：原始数据集X，初始概念数m输出： m个高斯云 步骤1：利用高斯变换(GT)将数据集合X转换为生成m个高斯分布 步骤2：对k个高斯分布计算其缩减比例则对应的第k个表示概念的高斯云参数利用启发式高斯云变换将院士按年龄聚类成五个概念群 概念期望(岁)熵(岁)超熵(岁)含混度占总数比例非常年轻院士53.12.70.420.46811%年轻院士67.

13、05.41.30.72312 %中年院士74.22.40.640.831 %老年院士77.52.80.750.831 %长寿院士83.53.40.890.78515 %利用启发式高斯云变换将院士按年龄聚类成3个概念群 概念期望(岁)熵(岁)超熵(岁)含混度占总数比例年轻院士55.84.80.390.24416.6%中年院士74.52.60.580.67547.9%老年院士80.63.70.840.67536.5% 启发式高斯云变换提供了一种从定量数据到多个定性概念的软划分方法，解决了传统的硬划分中无法体现不确定区域的亦此亦彼性问题。 启发式高斯云变换并没有给出解决概念划分混乱问题的方法，概念的

14、数量、粒度的大小和层次的优化等难题依然存在。 进而，我们提出自适应高斯云变换算法。 自适应高斯云变换 常识知识告诉我们，相对于低频率出现的数据值，高频率出现的数据值对定性概念的贡献更大，因此可以将数据统计分布中的波峰数作为高斯云变换的初始概念个数M，调用启发式高斯云变换生成M个表征概念的高斯云，根据概念的含混度，制定高斯云变换策略，例如，保证每个概念的含混度CD=0.5004，则它与相邻概念之间的基本区不交叠，通过不断调用启发式高斯云变换来进行迭代收敛，形成满足迭代终止条件要求的多个不同概念。 （Autonomic Gaussian Cloud Transformation，A-GCT） 算法

15、：A-GCT输入：原始数据集X，概念含混度上限输出： m个高斯云步骤1：统计样本集X的频度分布，并对其进行去噪声的预处理，获得波峰数量M 步骤2：利用启发式高斯云变换(H_GCT) 将X聚类成M个高斯分布 步骤3：按顺序对每个高斯云的概念含混度进行判断，如果存在一个高斯云的概念含混度超过则M=M-1 步骤4：循环步骤2-3，形成m个概念含混度小于等于 ，即概念之间的基本元素都不重叠的高斯云 自适应高斯云变换将院士按年龄聚类成2个概念群概念期望(岁)熵(岁)超熵(岁)含混度占总数比例年轻院士533.30.160.14514%年老院士76.45.90.290.14586%高斯云变换中概念之间的粒度

16、和层次关系粗粒度细粒度自适应高斯云变换生成的泛概念树 自适应高斯云变换无需预先指定概念个数，从实际数据统计分布出发，自动形成符合人类认知的、合适粒度的多个概念。变换过程中形成的泛概念树恰好可以反映人类认知中从底层次、细粒度到高层次、粗粒度的变粒度概念抽取过程和聚类过程，从而实现可变粒计算。 从细粒度到粗粒度的概念提升过程中，如果原始数据分布中的峰值过多，迭代的次数增加，算法的复杂度也会增加。 在人类认知过程中，对于同一个论域上的概念个数常常是有限的，尤其是在图像分割中，最常见的就是差异性目标提取。因此，也可以根据不同应用情境对自适应高斯云变换算法进行调整从而实现从粗粒度到细粒度的概念细化过程。

17、 算法：A-GCT-2输入：原始数据集X，概念含混度上限输出： 含混度小于 的高斯云步骤1：设m=2 步骤2：利用启发式高斯云变换(H_GCT) 将X聚类成m个高斯分布 步骤3：最小的概念含混度超过则m=m+1 步骤4：循环步骤2-3，找到 含混度小于 的概念 高斯云变换算法可以针对一维属性数据，也可以用于对二维或者多维属性数据进行处理。例如，对于二维属性，两个概念的交叠程度是通过两个椭圆的交叠区来计算的。 对于三维属性，两个概念的交叠程度是通过两个椭球的交叠区域来计算的，其呈现出的高斯云是一个四维图形。对于四维以上的属性数据，已经无法在坐标空间内直观显示。此时，概念含混度通过几何图形交叠区域

18、的计算已经无法获得，可以通过概念在各维度上的投影分别计算概念含混度，因此得到的概念含混度就是一个多维向量。高斯云变换如何处理复杂的高维数据？ 高斯云变换是在高斯变换的基础上，利用超熵解决概念之间不确定性区域的软划分问题，利用概念含混程度衡量由于概念交叠对概念共识程度产生的影响，通过调节概念含混度，实现概念数量、粒度和层次的生成、选择和优化问题。 从这一意义上说，高斯云变换是一个聚类的过程，也是一个变粒度计算的过程，甚至可以说是一个深度学习的过程。四、云变换应用随着计算机视觉研究的深入，简单的图像分割已经不能满足个性化的需求，有时候人们真正感兴趣的恰恰是图像中亦此亦彼的那些不确定性区域，如何模拟

19、人类自然视觉中的认知能力进行图像分割一直以来都是一个难点问题，而高斯云变换正是一种模拟人类认知中可变粒计算能力的方法，在处理不确定性信息上具有优势。因此，发现图像中存在的不确定性区域是高斯云变换的一个重要能力。 一方面是其具有明显统计特征，宏观上导致分割目标数量发生变化，例如，一幅图像中如果颜色混合的过渡区概念已占据相当比例，在频率统计图中明显区别于背景和前景两个概念，则图像分割结果应是背景区、前景区、过渡区三个概念；另一个方面就是宏观统计特征不明显，像素点数量少不足以构成一个新概念，但是在微观上的目标边缘提取中，影响着边缘像素点的归属问题。图像中概念数量的自适应优化和目标边缘不确定性区域的提

20、取，这两方面正是包括高斯变换在内的其他图像分割方法中面临的难题，也是高斯云变换的优势所在。 一幅图像中的不确定性区域主要表现在两个方面：图像过渡区提取 激光熔覆是指在工业中利用高能激光束将熔覆材料与基材表面薄层一起熔凝形成添料熔覆层。如何从激光熔覆图像获取精确的激光高度是激光熔覆图分割的关键，通常依靠先验知识设定概念数量的算法往往直接指定图像中存在前景和背景两个目标，忽略了过渡区域，而过渡区正是不同分割算法结果差异的关键所在。 (a) Kapur分割的二色图 (b) C-means分割的二色图(c) Otsu分割的二色图 (d) FCM分割的二色图概念期望熵超熵含混度黑色背景区81.315.3

21、1.810.354灰色过渡区172.331.73.740.354白色激光区253.21.30.110.247不确定性边缘提取C1和C2之间的不确定性边缘C2和C3之间的不确定性边缘 用高斯云变换实现自然视觉认知能的形式化 高斯云变换利用统计拟合中高斯变换和定性概念表示中的高斯云，根据图像统计特征直接生成符合人类认知规律的概念数量、粒度和层次。因此高斯云变换为人类自然认知中的变粒度计算能力模拟研究提供了方法，也为高斯云变换研究自然视觉认知能力中全局优先、前景优先和差异性优先的形式化奠定了基础。 高斯云变换从数据统计分布出发，不依赖于先验知识，但是在初始参数的选择优化时可以借助先验知识。利用高斯云

22、变换策略可以实现不同粒度上的概念抽取，因此可以用来实现全局优先的形式化； 概念含混度是一个概念共识程度的度量，即图像中概念划分清晰程度的度量，这正符合前景优先的特点，可以用来实现前景优先形式化； 概念期望之间的距离反映了概念之间的差异，例如颜色、灰度差异，因此可以用来实现差异性优先的形式化。 概念期望熵超熵含混度黑色区42.911.70.890.22灰黑区98.910.51.620.46灰色区126.65.91.280.65灰白色区138.85.71.240.65白色区域169.810.11.300.39体现差异性优先的目标提取 高斯云变换从原始数据的统计属性出发，从不同层次、不同粒度拟合抽取

23、概念，既保证了概念与数据之间整体上的一致性，又体现了分类聚类中类内关联强、类间关联弱的原则，更重要的是利用高斯云变换可以模拟人类认知过程中的变粒度计算过程，从而实现真正意义上的粒计算。云变换应用展望大数据处理的核心科学问题是什么？聚类与分类！大数据处理的难题是什么？数据与语义之间的鸿沟！数据模型与认知模型之间的鸿沟！ 2006年，加拿大多伦多大学教授、机器学习领域的泰斗Geoffrey Hinton和他的学生RuslanSalakhutdinov在科学上发表了一篇文章“A fast learning algorithm for deep belief nets”，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。 这篇文章有两个主要观点：1）多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；2）深度神经网络在训练上的难度，可以通过无监督学习的“逐层初始化”（l