具身记忆-Embodied-Memory幻灯片

指导老师：丁老师报告人：吴志洪

EmbodiedMemory:EffectiveandStablePerceptionBy

CombiningOpticFlowandImageStructure

具身记忆：一种结合了光流和印象结构的有效、稳定的知觉JournalofExperimentalPsychology:HumanPerceptionandPerformance2013,Vol.39,No.6,1638–1651JingSamanthaPan,NedBingham，GeoffreyP.Bingham目录摘要引言12实验（4个）3总讨论4结论5摘要视知觉研究通常集中于光流或印象结构研究，而不是集中在这两个信息的结合和交互方面。它们和对方的弱点相比都能提供独特的优势。光流产生强大、短暂的3维结构信息，当运动停止时，它结束。印象结构对于特定的3维结构不是很有用，但它是稳定的，当运动停止了，它依然存在。光流和印象结构在视觉上是内在相关的，因为光流是从一个印象传递到下一个印象。这种关系在渐进的闭合环境下是尤为重要的，光流提供了隐藏在后续印象结构中的关于目标位置的信息。摘要在四个实验中，我们研究了印象结构在“具身记忆”的作用，而在记忆中，印象结构只是开头。我们发现，与需要依赖视觉短时视觉记忆的条件相比，光流（实验1）或者印象结构（2）在长时间上单独来说是不起作用的，只有结合才是有效的，并在长时间上更稳定（2到4）。有据可查的关于具身记忆的研究要远远少于视觉短时记忆。结果支持J.J.Gibson’s《视知觉的生态学方法》中关于渐进闭合和具身知觉和记忆方面的见解。引言构造主义和生态主义在视知觉研究方面都是比较突出的，基于主题研究、理论研究和相应的方法(Norman,2002)。构造主义研究感知视觉的目标是基于静态印象信息（如：形状、大小、方向），观察者为感官刺激的被动接收器，他们用构造认知表示知觉的目标。生态主义关注对事件和行为的感知，他们使用的是在观察者和环境之间相互作用通过运动产生的光流信息。既然这样，光流信息是包含在观察者——环境系统之中，并且知觉是没有心智建构直接检测和使用信息,生态主义是直接知觉理论。引言相比之下，视觉引导的行为研究，如运动的视觉控制，仅仅关注运动产生的光流作为知觉的方向(e.g.Warren&Hannon,1990)。当个体通过环境移动时，移动会产生一个全局的光流模型围绕着正在移动的观察者，这个模型在NakayamaandLoomis(1974)早期的研究中被描述为：在前进方向从扩张焦点径向流出，在撤退的方向从收缩焦点径向流入，在垂直于轴的前进和撤退方向之间平行流。在移动的观察者周围的环境中，光流通过表面距离的变化来构建。这产生了运动视差，正如Loomis指出，除了仅有的两个点（扩张焦点、收缩焦点）之外，到处都存在全局流模式。在运动视差中，近表面投射的流速度要快于远表面投射。因为环境通常由不透明的表面构成，这种运动视差产生渐进式闭合在移动的观察者周围到处都是。引言与流有关的结构必然包括：从扩张焦点径向流出，运动视差、缺失/增加渐进式闭合/无闭合。所以，例如，观察者穿过森林时，必须预见一个障碍（另一颗树），这树之前还可见但现在隐藏在将会转向的树的后面。对隐藏目标的知觉和记忆和大量的常见任务是相关的，如在高速路上开车、防守前锋寻找四分卫、猎人在森林中寻找松鼠。尽管它普遍发生，但对隐藏目标的知觉和记忆的研究却没有得到广泛关注。这就是我们的主题，它需要对视野中的光流和印象结构进行研究。在捉迷藏游戏中偷看的孩子在他看其他孩子跑向躲藏地的时候体验到了光流。随着孩子的隐藏，包括了渐进式闭合过程，然而一旦他们都隐藏起来，寻找者只剩下静态印象结构，从躲藏起来的孩子的环境表面投影。在这种情况下，这些静态印象就是帮助找出躲藏孩子的具身记忆。引言根据上述例证，基于印象和光流的研究视知觉的二分法是一个历史产物，并不能代表视觉机能的本质。通常情况下，视觉既需要印象也需要光流。一方面，它们是不同的，各自拥有不同的优势；另一方面，它们密切相关，因为光流是从一个印象到另一个印象。我们认为对视觉研究的进展需要重新将印象结构和光流加入到视觉功能的分析当中。在当前的研究中，我们引入了一个新的范式，涉及在动态的环境中回忆和识别多个隐藏的目标。最有效的性能来自静态印象结构和运动产生的光流的结合。研究背景印象结构和光流都有优缺点，但它们结合时，能够相互补充，产生有效的性能。光流提供了关于周围三维结构环境、地表杂乱布局、相对运动的速度和方向的直接有力的信息(Domini&Caudek,2003;Todd,1995；Warren,2008)。然而光流信息是短暂的，当运动停止，它就变得不可用。然而观察者依然站着或坐着，因此没有了强烈的光流，那么观察者应该将之前检测到关于环境的光流信息保存在头脑中吗（也就是，像传统所说的保存在记忆中）？鉴于光流和印象结构之间的内在关系和印象结构依然存在的事实，推测也许不是这样。研究背景印象结构对三维环境布局的说明能力是微弱的，但它是稳定的。印象视觉理论依靠以经验为基础的线索（如印象大小、纹理梯度或视野的高度）来推测深度关系。他不包括3维动态环境，图形—背景问题经常变得模棱两可。尽管印象结构表明深度关系的作用是微弱的，但它是稳定的，可以用来保存光流提供的3维结构的信息。因为光流是从一个印象到另一个印象，光流和结构印象紧密相关并且关于结构投射的表面布局基本对称。研究背景光流和印象结构的结合将会使知觉更加有效。将光流提供的资料分离到外部稳定的印象结构，并允许个体访问和指导行动，不用把它们全部保存在头脑中。通过这种方式，印象结构变成了活跃观察者的一个具身记忆系统。它是具身的，因为印象结构是从大量的表面环境投射而来，观察者也在这个环境里面。Gibson(1950,1979/1986)指出，观察者是真实的、物质的，因此必须由（真实的）地面或环境表面来支持。否则，观察者将会自由落体。观察者通常也被大量真实的表面布局包围。真实表面的环境布局向观察者投射印象结构，这种生成的印象结构就像本研究所描述的一样，可以充当具身记忆。研究背景光流和印象结构的共同作用可以用来感知目标的形状并引导精确的定位(Lee&Bingham,2010)。LeeandBingham(2010)调查了是否更大角度的变化（大于45度）可以使固定的观察者感知到形状，并且在光流停止只有静态印象结构存在的情况下用这些信息来引导对物体的精确定位。他们发现在停止运动后立即执行可以进行精确定位，那么是否过了一段时间只有静态印象结构存在时还可以正常定位？Hu,Eagelson,andGoodale(1999)发现移除视觉印象结构5秒后定位变得不准确，但是如果印象结构保持，只删除光流，会出现什么情况？研究背景LeeandBingham(2010)发现在5秒延迟后，只存在印象结构而没有光流的情况下被试依然能够准确定位。这个实验结合各种结果Hu,Eagelson,andGoodale(1999)和Lee,etal.(2008)得出：对于精确的形状知觉（准确定位）来说光流信息是不可少的，但在光流停止后，持久的印象结构对持续精确的判断来说是充分必要条件。研究背景我们假设光流和印象结构是相互配合、共同作用的，光流提供关于目标和表明的三维布局信息，印象结构使产生的知觉保持稳定。在当前研究中，我们检测是否在杂乱的环境中，光流产生的关于他们所处位置的信息在视角的变化使可视的目标变得看不见条件下能够促进对多个目标的知觉。光流产生的信息只是在相互作用进行时是有用的，但这种信息可以被保存在稳定的印象结构中供日后提取使用。我们认为，当目标在三维空间内被感知，目标和/或观察者移动所产生的的信息会对印象结构进行校准。随后，光流产生的空间信息被保存在印象结构中，当光流停止后依然可以被使用。关键是信息的稳定性要比只有空间记忆而没有印象结构对空间布局的回忆更精确。研究背景为了检测我们的假设，采取了修改后的Kaplan显示装置，最初用来展示使用光流来说明对渐进式闭合的知觉。我们在只有印象结构或只有光流或相结合的三种情况下对目标的位置进行回忆测试。我们用空间记忆任务来测试被试对目标所处位置的知觉和记忆。当光流停止时进行反应，需要识别之前感知到但现在已经闭合的目标。

本研究中，我们用四个实验来探讨，光流中的信息和印象结构中的信息是如何相互作用来确定多个目标位置的。在实验1、2和3中，我们比较被试在a只有光流信息条件；b只有印象结构信息条件；c光流和印象结构都存的情况下在对目标位置的回忆。在实验4中，我们进一步研究了空间信息是如何保存下来的，光流和印象结构长时间延迟将近半分钟。研究背景

旋转（7s）平移（3s）开始反应实验1实验设计：

被试内实验设计

自变量：

版本1：目标（4个水平）、干扰（4个水平）

版本2：目标（4个水平）、干扰（4个水平）、空白（是vs否）

因变量：

识别目标的个数实验被试：

参与实验者为15名成人（年龄在22---33岁之间的7名男性和8名女性）。所有的被试都拥有正常的或校正后正常的视力。为了实验的顺利完成，支付被试每小时7美元。

程序和设备：

被试坐在电脑显示屏前50厘米处（显示宽=43厘米，高=27厘米）。显示器更新的频率是60HZ。实验

被试阅读并签署同意，然后坐在测试电脑的前面，完成3到10个练习的试验来熟悉这个任务。那个基础的显示装置是由两个矩形的表面组成，一个较小的在前面，并且都平行于电脑屏幕。两个表面都是随机纹理的，也就是说，同一密度的二进制（黑色、白色）纹理。在显示期间，后面的表面延伸更广，超过了电脑屏幕的边缘，并且边缘从不出现在屏幕上。也就是说，超出前表面边缘的后表面部分可以被看见。通过前表面上的窗口也可以看见后表面。通过这些窗口，能够看见在后面表面上的粉红色正方形。粉色的正方形是目标。窗口显示的随机纹理都是干扰项。窗口和目标都是长1.5厘米宽1.5厘米的正方形（比1°×1°更小的视角）。两个表面处于不同的深度（尽管当显示静止时，不同的深度是看不见的和两个表面看起来就像一个）。实验

每一个试验有四个阶段：旋转，平移，延迟和反应。两个平面深度旋转意味着一个试验的开始。这种运动揭示了表面之间深层次的关系。被试观察表面循环7秒钟并且学习目标的位置。在旋转停止后，随着两个表面再次趋于平行,后表面朝八个方向中的一个方向水平平移（例如：北面，东北面，东面或西北面的任意一个方向），同时前面的表面仍旧保持静止。后表面的平移能够通过前面表面的窗口看见，也能通过超出前表面的四个边缘看见。随着后表面的平移，后表面上的粉色正方形开始闭合在前表面之后。当平移运动停止后，目标的隐藏位置可以依据后表面移动的距离和方向来看见。这个移动花费3秒。在平移结束时，目标被前面表面完全闭合，并且只有后表面的随机纹理能够通过前面窗口看见。在平移发生以后再延迟2秒，在这延迟期间被试看到的是表面的静态图像。被试然后用鼠标点击隐藏在前表面后面的目标位置。实验

为了让被试点击更准确，我们引入了一个分数系统：以200分开始，如果他们正确地识别一个目标（也就是一击），他们就获得一分；如果他们没能正确地识别（也就是说，没有点击到目标或虚报），他们就是丢掉一分；如果他们没有打算去识别，他们的分数就不会改变。在实验的最后，被试依据他们最后得分来获得额外补贴（除了基本的报酬外）。这样是为了避免猜测以及提高准确性。实验

在这个实验中，有两个版本。在版本1中（9个被试），用交叉的设计（两个目标有2，3，4或者5个干扰项；三个目标有2，3，4或者5个干扰项，等等），这产生了目标与干扰项16个组合。每个组合有两个测试，实验中每个被试完成32个测试。在展示结束后，场景（随机纹理）仍然在屏幕上，刺激呈现与目标识别之间有2秒的时间延迟。实验在版本2（另外6个被试），目标或干扰项的个数为6，9，12或者15个。在刺激展示与反应之间有5秒的时间。在16个测试的一个区组中，在延迟期间（没有空白的状态）随机纹理是显示在屏幕上的，并且在另一个区组的16个测试中，在延迟期间（有空白的状态）是一个黑色的屏幕。6个所有的被试都要完成空白的和非空白测试。在版本2中，目标与干扰项的数目是增加的，而且空白数的情况与在实验三中是具有可比性的。这使得在只有光流的实验（实验一）与光流和映像结构的实验（实验三）之间是可以直接进行功能性比较的。为了当前实验的特殊目的，我们采用无空白测试的版本2和版本1来分析只有光流信息时的目标识别。实验结果：

实验中，只有少量的目标被识别(M=1.62,SD=1.00)。版本1识别目标的平均数是1.56；版本2中，15个目标没有黑屏的情况下，识别目标的平均数是1.68，这些平均数没有显著差异t(556)=1.50,p=.133。尽管识别数受目标数量的显著影响F(3,24)=4.01,p=.02，但目标数量和识别数之间不存在一致的线性趋势。结合两个版本的结果，不管给出的目标个数是多少，被试的表现都不好。因此，只提供光流信息，被试能够对深度进行感知，并从干扰项中识别目标和目标的位置，但当移动停止、目标闭合，他们不得不依赖头部记忆，因此表现出或低于视觉短时记忆的特点。实验2当只存在光流时目标识别效果很差，在本实验中，我们检测在a只有印象结构信息b除了光流还有静态印象结构条件下被试对目标位置的回忆情况。

实验设计：

被试内实验设计

自变量：

目标（4个水平）、干扰（4个水平）、光流（有vs无）

因变量：

识别目标的个数实验被试：

完成了实验1版本1的9名被试。

程序和设备：

和之前实验相同的显示屏。基本的刺激和程序与实验1中的版本2是一样的，只有一点点改变。首先，本实验加入了稳定的印象结构。在前表面的每一个窗口周围画上绿色的线条。在所有实验次数中，印象结构是可见的。因为稳定印象信息的存在，我们期待在回忆任务中表现更好。其次，比较存在光流和没有光流条件下的表现，随着后表面平移，后表面上的目标出现渐进性闭合，但被试在没有光流条件下（瞬间移动情况）看不见后表面的移动，结果，被试无法判断目标移动的方向和距离。在另一半试验中，平移和渐进性闭合是可见的，16种目标和干扰组合（个数为6、9、12、15），反应前的延迟时间为5秒。实验2结果：

当后表面的连续平移没有出现（瞬时移动情况），被试没有反应（电击目标、干扰项、空白处的平均数都是0，见上表）。缺少了渐进性闭合生产的信息，被试不能够感知到移动的方向和前后表面之间的关系。此外，因为不准确的反应会受到处罚，被试在这种情况下没有猜测移动的方向。在没有光流的情况下他们不能识别任何目标的位置。

另一方面，与实验一和瞬时移动情况相比，当被试处于连续移动情况下时，存在光流信息，并且还有静态图像结构（窗口有绿边），被试能够识别更多的目标。而且，识别数和目标个数之间呈现正线性关系，说明具身记忆的上限不是15个目标。平均数方差实验2结果：

被试在连续移动情况下的目标识别数（平均数=7.75）要高于瞬时移动情况（平均数=0，t[8]=22.92,p＜.001），也高于实验1中没有黑屏情况下的版本2（平均数=1.68，t[166]=25.77,p＜.001）。在连续移动情况下，光流信息和印象结构信息都存在；瞬时移动情况下，只有印象结构信息；在实验1中，只有光流信息。因此，被试在结合条件下的表现显著高于任何一种单独情况。实验2结果：

如下表所示，识别数随着目标个数的增加而增加，这种线性增长的恒定速度为0.43，F(1,142)=57.38,p＜.001,r2=0.3。线性关系说明15个目标不是被试回忆能力的最大值。这显然超过了视觉短时记忆的容量——4项，(Luck&Vogel,1997)，并激励了我们做接下来的实验：是否提供了光流和印象结构信息，被试在延迟一段时间后还能够识别目标的位置，如果是这样，存在/缺乏稳定的印象结构时被试识别的表现如何？平均识别数随着干扰数的增多而减少F(3,24)=5.75,p＜.005。当干扰数为其它数时，识别的增长率是稳定的0.5±0.1，当干扰增加到15时，增长率下降为0.16.实验3

在之前的研究中，我们单独展示了移动产生的光流，被试能够识别目标，并回忆目标的位置。但是，光流单独的作用是非常有限的；如果只有印象结构信息，被试不能识别任何目标。这是因为，没有光流，印象信息不能说明渐进性闭合和最终隐藏目标的位置。本实验中，我们提供光流和印象结构信息来测试知觉的稳定性。我们引入了3个（5、10、15s）水平的时间延迟出现在被试识别之前。此外，在延迟时，被试看一个黑色的屏幕（空白组）or一个来自运动信息的三维结构的结尾场景（SFM，包含有边界的窗口）（非空白组）。前一种情况下，出现在感知和回忆之间的黑屏打断了印象结构，在后一种情况，印象结构是连续的、稳定的。我们假设，如果印象结构在保持感知位置方面是至关重要的，那么非空白组下的表现将会好于空白组。我们还可以通过比较三种时间延迟水平下的表现来了解知觉在时间上的稳定性。实验3

实验设计：

被试内实验设计

自变量：

目标（4个水平）、干扰（4个水平）、印象结构（中断vs稳定）、延迟（3个水平）

因变量：

识别目标的个数实验被试：

10名被试，5男5女（包括之前完成了实验1和2的9名）。

程序和设备：

被试同样观察有两个分离平面的显示装置。所有窗口的轮廓都是绿色的，目标闭合后窗口上绿色的边界仍然在视野中。平移过后，被试经历延迟（5、10、15s）准备反应。

目标和干扰的个数为6、9、12、15，形成16种组合。每一种组合下，被试都要在空白和非空白条件下经历三种水平的延迟。每个区组中有96个试验，每名被试在不同的日子里完成两个区组的实验。实验3结果：

在非空白组的表现要好于空白组。将空白（2个水平）、目标数（4）、干扰数（4）、延迟（3）作为组内变量进行重复测量方差分析。结果显示，空白条件7.06(SD=3.00)和非空白7.44(SD=2.78)之间存在显著效应F(1,9)=18.5,p＜.002。因此连续存在的印象结构有助于回忆起感知目标的位置。除了空白的影响，识别数受目标个数的影响F(3,27)=55.6p＜.001。在空白和非空白条件下，识别数的平均增长率为0.4（每增加一个目标）。随着干扰数量增加，识别数开始下降F(3,27)=20.3,p＜.001。此外，目标和干扰数量出现了交互作用F(9,81)=3.42,p＜.01，识别率随目标数增加而上升随干扰数增加而下降。并且，干扰数为6时，识别增长率为0.55,；干扰数是15是，增长率为0.31。实验3结果：

许多被试反映，在实验报告过程中，随着目标和干扰呈现数量的增加，他们尝试了解目标的可能出现位置，并利用这种可配置性来帮助之后的回忆。因此，接下来的实验，我们减小了目标和干扰的尺寸，提供了更多目标和干扰项的潜在位置，因此目标和干扰项在屏幕上分布更稀疏。这是一种控制模式检测策略的方法。

最后，方差分析显示，延迟的长短没有显著差异F(2,18)=2.07,p＜.16。目前研究说明，在延迟15秒后被试的表现没有下降，这激发了我们接下来的实验，我们将明确研究更长的时间延迟与印象结构之间的交互作用。实验4

光流和印象结构的共同作用下，被试的表现已经超过了视觉短时记忆的4个项目。我们给出的解释是，光流和印象结构结合时，目标位置的信息不需要严格保存在头部记忆中。反而，它被部分分离为头部外的不变的结构并保存在印象结构中。这种形式的具身记忆提高了被试在任务中的表现。

为了考察具身记忆的作用，设计了本实验，延长延迟的时间，增加目标个数，缩小目标和干扰的尺寸，提供了更多的目标和干扰的潜在位置。这使得模式检测变得不太可能发生。目标个数设置为9、12、15、18；干扰个数固定为12。延迟时间为2个水平，5和25秒，分空白条件和非空白条件。我们假设被试在非空白条件下增加延迟时间的表现不会变差，因为记忆的责任转移给了印象结构，稳定的外部结构能够使具身记忆保持稳定。然而，在空白条件下，在延迟阶段需要传统的视觉记忆，随着延迟的增加，被试识别的目标会减少。传统的头部记忆会随时间衰减，相对来说不稳定，但是从假设来看，具身记忆应该是稳定的。我们预计，延迟在空白组差异显著，在非空白组差异不显著。实验4

实验设计：

被试内实验设计

自变量：

目标（4个水平）、印象结构（中断vs稳定）、延迟（2个水平）

因变量：

识别目标的个数实验被试：

13个成年人，5女8男，年龄20至33岁。

程序和设备：

被试同样观察有两个分离平面的显示装置。除了以下修改，过程和实验3大体相同，目标和干扰的尺寸改为0.8×0.8cm（之前为1.5）；目标和干扰数量进行了调整，延迟时间为5和25秒，其余变量和之前试验一样。本实验中，每名被试完成5个区组的实验，每个区组16个试验，目标数（4）、延迟（2）、空白（2）。实验4结果：

识别数随目标的增多而增加。延迟上的差异在非空白条件下没有产生影响(meanhits5sDelay=7.90;meanhits25sDelay=7.63)。但是在空白条件下产生了显著差异(meanhits5sDelay=7.53;meanhits25sDelay=6.44)，这种延迟情况下静态图像结构被移除，被试被迫依赖于头部记忆。进行重复测量的方差分析，目标个数、延迟时间、是否空白都出现了显著的主效应。被试在较短的延迟情况和非空白条件下都表现得要好些(meanNoblank=7.8;meanBlank=7.0。mean5s-delay=7.7;mean25s-delay=7.0)。并且，延迟和空白之间出现了显著的交互作用F(1,12)7.09,p＜.03。这说明，稳定的印象结构不受延迟时间的影响，具身记忆在对目标位置的知觉经历较长的延迟后依然稳定；然而缺少了印象结构就依赖于头部记忆，随着延迟的加长，表现下降。在延迟25s、目标数为18的非空白条件下，被试的平均识别数达到了9.2个，这个表现远远超过了视觉短时记忆的容量。实验4结果：

目标数和识别数的线性关系说明，目标数如果继续增加超过18，那么识别数也会进一步增加。总讨论J.J.Gibson关于知觉的很多思考来自于它对渐进性闭合问题的分析。知觉蕴含了观察者和环境之间的关系，它的分析单元包括周围和光学的结构以及时间和空间上相关的结构。光流是他在光信息分析中的核心。他对渐进性闭合的分析包括了知觉的稳定性。在J.J.Gibson的分析中，渐进性闭合信息包含在光流之中(Gibson,1979/1986)。当光流停止只存在静态图像结构时，其稳定性问题是非常重要的。Gibso