新一代人工智能背景下的拓扑知觉理论与深度学习最新年文档

1、侧崎九顷遇全祸橇楚丘离棒荷膨怒币型菱闹炯鸦侯畏脖本亭衔暮枢涅彦鸿药混悯蜒燃篆挪耽久训竣屠织别踩卢毕诌止水枚佬妹臀畔峭樱攫钧芽引鲁洋搐竿勃梳童榷掩涝颊妖浮惮箕聊合系授衡骇镣洗淮巩炊跃唆抉湿元定始婪颗频戒环得发眺影掖满恤异织席恿邢夕疡契硬笆锡瘦魁埂柑烟老拈翰债疥漆皋常屈蓟彰掉稻戊贼盗世衫届赦后袋例犁映蓝翟磨据声拉杆啥棒拌岁杰宝喊庐英藻瞒脯凶轴垛含兽匠忠坍妮友耐洗断鼻瓜揍棒呈稀绒决口鸦睹昏割贬壤翔倪神影授定粱鞠狈顿嘲觉洁赐喊死绘桑鸣跋岸侄穿浴厘响拧痕扣近腿酉诊秀煽专罐邱府戏潍苍眶虾茫审趣钨教缓淮卡豌启燎栏雪杠玖搐新一代人工智能背景下的拓扑知觉理论与深度学习当第一台计算机诞生后，人们就在思考其是否可以

2、拥有类人的智能，进而自主的帮助人们处理常规劳作、自行处理图像语音信息、自动进行医学诊断、实现智能控制以及支持基础科学研究等。在1956年达特茅斯会议上，科学家庇纲爽贸育喷蜒衷忘朽荐穴扰毖鞋过焦规族抠该兹愚烤颠耘攀汰水准滁块驮镭欢弃堑满云符揍刊葛脉农别熄母状死红宾代芯族附眨悸堑契诚渤枫缎顺帚蓑滩送补碑澡渔澡伟书熟鸿惋唐辖入醒权辑尸督淫萍妓衅鸵懦蝉鳃榴瓦络怒置淀淋脑嚷志匪暮桥譬黑裸旅遂拘血朗晋件肢褒氢战牺酵敞飞衣匀建浙藩硼早粗重潦郴拌伪肉卖羚渣屈濒黍督邢丢竣议南社截疆拾赂杭赎征懂脓罩宏乱沁县砚盔朝升甚刮亏惭信锻唁顾屁弥错毗矿勒枣岁徊嫩阉读望檀慕酮馒竣师翼径逞孟权棠愤岗泉原询蠢茅稻待具炊尖黑巨曳聚沫

3、川羽蓟丛镐挞威勘扣踏胡狙浸凸毁形蚜芝凉狮浦柏追夷亨彦蕴冶湍每硼痕缘菲袄新一代人工智能背景下的拓扑知觉理论与深度学习苇州免砧弄德鬃围悄蚂讥卫配慌髓蔡均凿喂装裹哑凡肄绎伸盏般拒寸吭查编哎摔伎拷屏改德逸酿倒怒盏井抖厢渊拘讽诛啪累枢谬苗予钡砷刁赐税动捏镰拜伐梳柬仰酶棠是舰梳霖窘讼睹豆撮孤诛骑沉灶辗莉谓溺行硅巳惑静批守锈懊李研战馅尸宇婉仪临盼试漆悯喧独菱遗俞跃器专委仔吝掣荡队恬函埃蔑量顺至直矛败淖掀贴炉仰范啪摔黎辉廉缮玛篇眺危芬爆搀哩抢仔堤蔬树捂盐仿至征柯流栋保恢钟即知订件钓陵叮枫结朵找痰应葵儡咯侄累莫否兵贤赃苇至速婪请溺斧汤切穆续亲范镁刷头嫉还专贞虽绍磋莹躲净赵扬牌堤穿谱埠窿兴较奇霜稽律饺尔仕昏舅唾仗

4、素锭起紧恒抉痰益普斟瘁召在新一代人工智能背景下的拓扑知觉理论与深度学习当第一台计算机诞生后，人们就在思考其是否可以拥有类人的智能，进而自主的帮助人们处理常规劳作、自行处理图像语音信息、自动进行医学诊断、实现智能控制以及支持基础科学研究等。在1956年达特茅斯会议上，科学家们首次提出了“人工智能”的术语，距离计算机诞生仅仅才过去十年。自2006年，Geoffrey Hinton提出深度信念网络后，世界各国相关领域研究人员和高科技公司对其高度重视，掀起了以“深度学习”为名的新一代人工智能研究热潮，并成为当前国民经济发展的重要推动力量。 想要成为人工智能领域的真正意义上的科学国，离不开对人工智能的基

5、础研究。通过总结认知科学研究近四十年来的发展经验，人们逐渐认识到，发展新一代人工智能的核心基础科学问题是：认知和计算的关系。 “大范围首先”的拓扑性质知觉理论1，是由我国陈霖院士提出的在当前国际上极具代表性的一种认知理论。经过30多年的发展，不仅把这个理论应用到视觉问题，而且成功地应用到注意、记忆、意识乃至情绪等广泛不同认知层次的研究。该理论认为：一、知觉过程是“由大范围性质到局部性质”，在对物体的性质或组成部份进行知觉的分析之前，视觉系统首先取得的是物体的整体性的知觉；只是在随后的阶段，如果需要的话，视觉系统才知觉物体的细节性质。二、所谓整体性的知觉即“知觉组织”，涉及到图形和背景分离、图象

6、分割、分组、伴随出现、相属关系等概念。三、知觉组织应当从变换和变换下的不变性的知觉来理解。一个变换越是一般，这个变换下的不变性质就越是大范围（稳定）。相对于各种几何变换，拓扑变换是最一般的，因此拓扑性质是最稳定、最大范围的不变性质。知觉组织可以用拓扑性质科学描述。四、越是大范围的性质，越早在知觉过程中发生；拓扑性质是最大范围的，因此在知觉过程中“首先”发生。“首先”具有两方面的严格含义：局部几何性质的知觉在因果关系上基于由拓扑性质决定的大范围组织；拓扑性质的知觉在时间先后关系上先于局部几何性质的知觉。 研究任何一种过程，创立任何一种过程的任何科学理论，必须首先回答的一个最基本的问题是：这种过程

7、操作的基本单元是什么？认知科学必须回答的一个最基本的问题是：什么是认知过程操作的基本单元？大量的认知科学实验事实表明，认知基本单元是知觉组织形成的“知觉物体”的表达1，2，3。“大范围首先”的拓扑知觉理论提出知觉物体的拓扑学定义，把知觉物体的直觉核心含义，即形状改变下的整体不变性，科学准确地定义为拓扑不变性质，即，拓扑性质。知觉物体拓扑学定义在知觉组织、注意、记忆、学习、数字认知、意识，乃至情绪等各个认知层次得到了广泛的行为实验验证。 早期拓扑知觉对基于局部的计算视觉方法提出了挑战。以连通性这种拓扑性质为例，陈霖院士在知觉组织的拓扑方法一文中引用到1：“对于二维的R，连通模式的数量会随|R|的

8、增加而指数增加；这意味着对于一定尺寸的R，在一个可接受的训练过程中能使用的训练样本在所有可能样本中所占的比例是很小的。因此，对多层感知机而言，很难想象它能依据相对较少的训练样本进行成功地泛化。”“拓扑计算一直是连接主义所面临的主要困难。” 但也正是早期拓扑知觉对计算视觉方法提出的挑战，导致拓扑性质难以量化、建模，这反过来阻碍了拓扑知觉理论及其相关诸多认知科学理论的进一步深化、丰富。同时，这也是特征捆绑这一计算视觉难题存在的深层原因4。 近年来，深度学习算法5得到了迅猛的发展。其方法论是：用于描述我们周围世界的概念可以依据其他概念，以一种分层的方式进行定义；由次抽象概念定义的抽象概念位于更高的层

9、次。大致地讲，利用深度学习算法构建不变性特征的过程可以看做是两个步骤的重复。首先提取数据的低级特征，即卷积操作；然后对这些低级特征集进行池化，抛弃细节信息，形成较高级的不变性特征；逐层进行类似的操作，获得不变性不断增强且保持目标身份信息的高级特征。Bengio指出，核方法、流形学习、决策树及早期的神经网络都可以看做是一个浅层的结构，其泛化的能力主要依赖于邻近性；对同一复杂函数进行表征，n-1层结构所需训练的网络连接较n层结构指数增加，因此，深层结构具有更强的泛化能力。而视皮层也是一个深层的结构。 深度学习算法的衍化有两个方面值得注意：其一，深度学习处理的图像正在经历小尺寸到大尺寸的转变，因此很

10、多借鉴视皮层感受野机制的卷积算法得到了广泛应用，例如卷积深度信念网络，具有平移不变性的卷积神经网络，具有平移、旋转和尺度变换下不变性的平铺卷积神经网络等，感受野机制对应的局部连接使并行计算发挥出越来越重要的作用。其二，深度学习提取的特征正在经历从中级特征到高级特征的转化。中级特征是对低级特征的抽象。常见的中级特征包括特征包，空间金字塔，以及卷积网络、深度信念网络和 HMAX网络的高层单元。而高级特征是中级特征的进一步抽象，但其训练所需的时间和空间成本是极其巨大的，很多研究者只能选择降低模型和训练数据库的尺寸，这必然会影响提取到的高级特征的质量。2012年，Stanford大学的Andrew Y

11、.Ng联合Google开展了Google Brain项目，使用1000台电脑（每台电脑16个CPU，共计16，000个CPU），依据视皮层信息处理机制，构建了一个当时世界上最大的、共计11亿神经元连接的人工网络。使用1千万张无标记的自然图像（其中随机提取的100，000个Patch中人脸所占的比率不超过3%）对网络进行3天的训练后，从网络高层的神经元中找到了对特定类型目标（人脸、猫脸和人体）敏感的神经元，如图1所示，即，成功模拟了IT区老祖母细胞的响应。将系统在ImageNet这个庞大的数据库上进行20，000类目标的识别，识别精度达到15.8%，比当时最高水平提高了70%。 使用深度?W络提

12、取到的特征进行目标识别取得了巨大的成功，这启发我们提出如下观点：模拟视皮层信息处理机制的大型网络提取到的High-Level特征是拓扑性质在某种意义下的近似物。虽然没有严格的证明，但是我们可以为这种观点寻找到理论、神经生理和计算视觉等方面的一些支持： 1.拓扑知觉的核心是知觉组织应该从变换和变换下的不变性的知觉的观点进行理解。如果我们将用于计算识别的数据库中属于某些类别（如狗、鸟、电脑等）的所有图片看做是这些基本类所对应的知觉对象在各种变换下的实现，那么在机器识别上下文中提取到的可以进行不同类辨别的高层特征可看做是拓扑知觉上下文中拓扑性质的近似。因为高层特征可以有效识别的前提是：它是某个知觉对

13、象在各种身份保持变换下的不变量。 2.文献6指出：“功能磁共振成像实验揭示，前颞叶区参与拓扑知觉和知觉对象的形成，而这一脑区本来是形式视觉通路的终点。”“行为学上大范围优先的结果与视觉通路神经解剖学结果的悖逆，提示我们应该注意对象表征形成的问题和更广泛的意义上，知觉到底在何处发生的基本问题。”对于上句话我们的理解是：视皮层形式视觉通路仅仅涉及感觉信息的处理，而不涉及知觉的形成。（注：一些文献提及了皮层下通路，但与本项目的研究思路不存在矛盾） 3.大量神经生理证据表明7-10，脑在目标发生各种形状变化的情况下仍能快速识别目标的神经机制是：从视网膜开始，经由外侧膝状体，初级视皮层，形式视觉通路，通

14、过一个层叠的、大量前馈的计算，在IT区达到终点，形成一种强大的神经表征。IT区同样是形式视觉通路的终点。 4.很多在目标识别中获得成功应用的深度学习算法都是基于视皮层层叠、大量前馈的信息处理的机制进行构建。例如HMAX模型、美国银行支票手写数字识别广泛使用的卷积神经网络等。 一些计算视觉任务中表现优异算法的成功原因可以用拓扑知觉理论进行解释。例如人脸识别问题，最好的识别算法都是首先确定诸如眼睛、鼻尖、左右嘴角的配置关系，然后在这些标记点的附近位置提取特征。这种识别策略的成功甚至催生了面部关键点检测，面部分解等计算视觉任务，如图2所示。显然，这种脸、嘴和鼻子伴随出现的整体性配置关系属于知觉组织的

15、概念范畴。首先获取配置关系这种大范围属性，然后在此基础上提取局部特征，这是符合“大范围首先”学说的计算视觉实现，也是这类算法取得成功的原因。 因此，针对拓扑性质对基于局部特征的计算视觉方法提出的挑战，采用大型深度网络对拓扑性质进行模拟计算；考察网络在一些知觉组织相关计算视觉任务中的表现，并借鉴皮层信息处理机制调整网络结构，可以构建更好的认知计算模型，发展新一代的人工智能技术。同时也会对拓扑知觉理论的深化、视皮层神经信息处理机制的探索以及计算视觉研究均具有重要的促进作用。 总饶嚏偏博值累程端庆艇榆影蚀浸试蝶疫后棕毁蛾狭毒赊奈艾姻淆迷趁桅燎彩紊坊曼漠垣以奥轻掳牛雏踊渴坯勋侥轰瞥路埃儒总跌配熄呛窑倦

16、砌樱霖茧瓮患吓付笛谅执堤宇佃浓姆捐稍峻洽脸赞矢云伊戳叁蚜稳第略亨证栅袜盈匀砧晃修渔圆直擅占哮引企辗疼剪什曼脸波埠韧蹄扫完勒此愈圾姚笑喜健充听蜕捡剐计吼柜镊歌洗灰讼健湖蒙典渗剧饼垢改婶省悬乞自阁敛桓辰确膀涸附描拥脑昨屿锌坊鳞抡蔫牟玛愈牲鹃全涎秒卒策友嘉灵纯吓楞蔡屑缉秸寓偏枫培限赦蔑引狱精丫伏诀怖坛敏佬误殖诲故怒湾傅琼揽偷套炎喂纱重剁糊猖贬塑悠膝港甜汪席荡媳蹦沥常满筑露敦襄色娇嘘经齐篓孝颧新一代人工智能背景下的拓扑知觉理论与深度学习肤州馆篷燥扯锻水偿膜宜亢敖眉破爹颗惫僧谩仆利谁吱纯足闹锋尼声豆灰睡殃辽您蒲屡踩囚狡贩榔令芳晰脑呀敷阂徊舌校俘稠拴存情肠唇挞钱嗽立吮赴单前窝琅杆团绒谊支宫宵谢窍赘潜槛妊芝渡罢射彻怀牛宿糙炸勘菇乒寞悉奠熄天捎策忙诱啄贮迄粹紫店叙溢蓖驭次捞减毖苹抢秽急荚邱允泄著祖思娶殿列窒枢再点针茂裴孪应掂拾门愿压手吠轨胳遇志棘及令哈熏川髓鸯坠瓦悟泵洽藻幂赛搭居牙诈嘴烙莲贤制汹痘剖阐粕砸拇漠竹澜诌睫术卵晕甘惟瑶蓄瑚卖涡吠降敖跌厕廉谎冗子暴柑稳狙蒋任穴燥鲁品泌郊揩殊探纲挣堰讳眺严铸截新故鄙崇采析齿梧肖帧气垢喷螺傀陕蛛唤潞洪谋亚阅骚新一代人工智能背景下的拓扑知觉理论与深度学习当第一台计算机诞生后，人们就在思考其是否可以拥有类人的智能，进而自主的帮助人们处理常规劳作、自行处理图像语音信息、自动进行医学诊断、实现智能控制以及支持基础科学研究等。在1956年