视觉传播概论（第2版）课件 第3、4章　视觉认知、视觉表征

第三章第一节视觉系统一、眼睛的工作机制眼睛是人类接受视觉信息的主要器官。图3-1是一个人眼的构造图,它描述了眼睛捕捉形象的基本运行过程:物体反射过来的光束在角膜上调整方向,然后通过晶状体的作用精确聚焦,抵达眼睛后部的视网膜形成影像。视网膜是由大约1.26亿个视觉细胞组成的,其中包括约1.2亿个视杆细胞,以及600余万个视锥细胞。这些视觉细胞将光能转换为生物电流,随后通过视神经到达大脑的丘脑,最后送到视皮层形成了视觉形象。图3-1人眼构造图二、大脑视皮层对视觉信号的解释请凝视图3-2这幅图画十秒钟左右,然后发生了什么?这个方块是不是自己转动了?这个图形就是尼克尔立方体(Neckercube),它是一种视错觉。

图3-2尼克尔立方体在图3-3这幅图画中,你又看到什么呢?一位年轻的女士还是一位老妇人?这幅图画叫作《我的妻子与岳母》,是诺玛·谢德曼《普通心理学实验》中的一幅图画。图3-3我的妻子与岳母观看这两个视错觉图形,我们似乎被绕晕了,通过眼睛无法进行判断。弗兰西斯·克里克对之的解释是,这说明我们很容易被视觉系统“欺骗”,我们眼睛提供的视觉信息可能是模棱两可的,我们看见的东西并不一定真正存在,而是大脑认为它存在。克里克这样解释大脑对视觉信号的处理:“大脑不可能只是一群仅仅表示在什么地方具有什么光强类别的细胞集合。它必须产生一个较高层次上的符号描述,大概是一系列较高层次上的符号描述。正如我们所看到的那样,这不是一步到位的事情,因为它必须借助以往的经验找到视觉信号的最佳解释。”。实验说明,尽管不用眼睛也能够“看”,不过这个“看”与“看见”完全是两个层次的概念。由于没有任何感知的经验,大脑皮层对视觉信号无法解释,无法处理“看”到的信息,导致能“看”却不能“见”。眼脑的合作可以依据认知心理学中的“信息加工范式”来解释,即信息加工经由一系列阶段,每一阶段都有独特的操作,每一阶段从前一阶段获得信息进行加工而后传递至下一阶段。按照这个范式,眼睛发生的观看是第一阶段,物体的漫反射经由晶状体被倒置,并聚焦于视网膜上,光能被转换成神经冲动信息,此后传送至视皮层。第二阶段则发生在视皮层中,根据一些原始特征,如水平、垂直因素或三角、曲线等,视觉刺激在此被解析。这些原始特征再经由大量的并行加工网络被识别、分类,而后派送到大脑的其他区域,在画面形式本身与观者的个人经验背景之间完成最终的联系,从而完成第三阶段。可以说,观看是一个逐步建构起来的动态过程。观看的过程是大脑借助以往的视觉体验进行分析理解的过程,不是简单的一步到位。越丰富的视觉感受,就能带来越多的视觉认知。延伸阅读大卫·马尔的计算机视觉理论大卫·马尔(DavidMarr)将心理学、计算机科学和神经生理学结合起来,是计算神经科学领域的创始人,对计算机视觉的发展做出了重要贡献。大卫·马尔在剑桥大学三一学院获得数学学士和硕士学位,然后攻读了神经学博士学位,是视觉科学领域重要的前瞻性人物,因为患白血病英年早逝,著作《视觉》(Vision)在其去世两年后即1982年出版,这本书是认知科学领域最重要的著作之一。大卫·马尔指出:“视觉是一个过程,它把外在世界的图像转化为不受无关信息影响的对观察者有用的描述。”从这个意义上来讲,视觉不仅是一个处理信息的过程,大脑还要表示这些信息,视觉研究不仅关注如何从图像中提取各种信息,还要探索这些信息的内在表示的本质,以及这种表示如何帮助我们思考和决策。马尔在《视觉》中提出了一个用于研究和理解视觉感知的一般框架,视觉过程通过构建一组表示来进行。一是“初草图”,即关于二维图像特性的表示,包含图像强度的变化和局部的二维集合。二是“2.5维”草图,即关于可见表面在以观察者为中心的坐标系里的特性的表示,包含表面朝向、物体距离观察者的距离以及这些量的不连续点。三是三维模型表示,即对被观察的形状的组织结构的一种以物体为中心的描述,以及对表面特性的描述。这也体现着信息加工的多重阶段。马尔还提出一个概念模型,把信息处理系统分成三个层次:计算理论(computationaltheory)层次,即计算的目标是什么,执行计算策略背后的逻辑是什么;表达与算法(algorithm)层次,即计算理论应当怎样被实现,输入输出的表示是什么,输入输出的算法是什么;硬件实行(implementation)层次,表示和算法怎样在物理上实现。这个概念模型有助于帮助我们分析和理解包括视觉系统在内的复杂的信息处理系统。第二节视觉的认与知从“看”到“看见”是一个眼脑协同工作的过程,也是一个判断和建构的过程。在心理学研究中有两个概念对应上面这种现象进行解释,这就是“感觉”和“知觉”。感觉指感觉器官收集有关环境的信息的过程;知觉指大脑选择、组织和解释感觉的过程。同时也可以这样理解:感觉是当前作用于人们感觉器官的事物的个别属性在头脑中的反映;知觉则是当前作用于人们感觉器官的事物的各种属性、各个部分的整体在人们头脑中的反映。感觉和知觉之间的关系是人体的感觉器官(比如眼、耳、鼻等)的生理功能和大脑之间的配合过程,同时也是人们对事物从局部到整体的理解过程。感觉与知觉统合起来,产生认知。一、从感觉到知觉认知并非简单地来自感觉器官对信息的收集然后再进行处理,心理学家对知觉信息的加工机制有着不同的看法。有些人认为认知直接依赖环境中存在的信息;有些人认为,这个过程不是直接的,除刺激物本身的信息之外,还要取决于感知的期望和以前的知识。这便形成了知觉加工过程的两种观点:自下而上的加工(bottom-upprocessing)和自上而下的加工(top-downprocessing)。所谓自上而下的加工,也称概念驱动加工(conceptuallydrivenproces-sing),或建构知觉(constructiveperception)理论,指知觉者的经验、期望、动机引导着知觉者在知觉过程中的信息选择、整合和表征的建构。自下而上的加工也称数据驱动加工,指知觉者从环境中一个个细小的感觉信息开始,将它们以各种方式加以组合,便形成了知觉。图3-4显示的视崖实验支持了直接知觉理论。图3-4视崖实验埃莉诺·吉布森(EleanorJ.Gibson)和沃克(R.D.Walk)在1960年完成的视崖实验(VisualCliff)支持了直接知觉理论。他们设置了一个台子,左右两边有高度深浅的落差,平台上铺着同样黑白相间的格子布料,上面有透明的厚玻璃,随后让婴儿在上面爬行。实验中,婴儿的母亲先后站在装置的“深”“浅”两侧向婴儿招手并呼唤他,看他对视觉悬崖的反应。实验证明,出生六个月左右(甚至更早些)的婴儿,尽管母亲招手呼唤,对其进行诱导,但均拒绝向母亲爬过去。动物实验也表明,出生不久的小羊、小狗、小猫等都会在悬崖边停下来,这显示了深度知觉是与生俱来的,不是后天学习的。无论是自上而下的加工还是自下而上的加工,都存在一定的合理性以及局限性。科学家认为,“在知觉表征的形成中,既有自下而上的加工,又有自上而下的加工,这两种机制之间存在复杂的交互作用”。二、知觉的特性知觉是指人脑对直接作用于它的客观事物的各个部分和属性的整体反映,是确定人们所接受到的刺激物的意义的过程。了解知觉的特性,对于视觉传播工作而言,可以在信息输入层面把受众的知觉反应也考虑进来,从而获得更有效的传播效果。（一）知觉的对象性感觉系统为我们提供的是关于光、色、声等个别刺激特征或属性,但我们知觉到的是一个对应着某种形状、质地、大小和位置的完整而具体的图形,是那些个别属性的统一体。知觉的这种特性称为知觉的对象性或选择性。丹麦心理学家埃德加·鲁宾(EdgarRubin)是第一个对图-底(背景)之间的关系进行系统研究的人,他制作的“鲁宾杯”(见图3-5)图形,即是对知觉对象性的一种讨论。在确认知觉的对象物的时候,“鲁宾杯”画面里的前景和背景无法分离,前景是一个图形,背景也是一个图形,这时就凸显出了知觉的选择性。鲁宾在研究中发现,凡是被封闭的面,都容易被看成“图”。图3-5鲁宾杯产生统一体的知觉,首先是要把图形从背景中区分出来,只有当刺激物之间有某种差别时,刺激物中的一部分区域被组织成对应着某种对象或其部分的形状,即被知觉为图形(figure),而其他区域便成为背景(ground),从而使知觉图形从背景中分离出来。这是产生知觉的必要条件。这其中的关键就是区分出边界。”（二）知觉的整体性“知觉的对象有不同的属性,由不同的部分组成。但我们并不把它感知为个别孤立的部分,而总是把它知觉为一个有组织的整体。甚至当某些部分被遮盖或抹去时,我们也能够将零散的部分组织成完整的对象。知觉的这种特性称为知觉的整体性或知觉的组织性。”格式塔学派认为人们在认知过程中遵循以下一些法则:第一,闭合原则(lawofclosure)。假如图形中有缺失的地方,视觉会倾向于把这部分补足。比如在图3-6中三角形是不完整的,但是人们仍然会将其作为一个三角形来认知。图3-6不完整的三角形第二,相似性原则(lawofsimilarity)。人们会把具有相似性的图形组织起来,将其视为一个整体形状。在图3-7中,人们的视线会将圆圈和十字分别组织起来,以横向发展的方式连成线条观看。图3-7圆圈和十字构成的图第三,接近性原则(lawofproximity)。越靠近的元素就越容易被归为同一属性认知。在图3-8中,人们会将其认知为三条横线,而不是若干条竖线,尽管整个画面里的构成元素是相同的。图3-8疏密不同的同一元素构成的图第四,连续性原则(lawofcontinuity)。视觉会保持延续,将中断次数最少的元素组合起来。为什么人们会认为图3-9是两条交叉的线而不是两个对接的角呢?在这里,视觉遵循了连续性原则。图3-9两条线构成的图（三）知觉的恒常性“当知觉对象的刺激输入在一定范围内发生变化的时候,知觉形象并不因此发生相应的变化,而是维持恒定。知觉的这种特性称为知觉恒常性(perceptualconstancy)。三、感知世界大脑接受来自眼睛的基本信息并组构成有意义的图示,将输入信号与大量的神经元关联起来,并给予引发刺激的视觉客体以意义。在这一阶段,大量关于世界的一般认识被提供予感觉信息,客体在此被理解。这种对视觉信息的认知处理并非线性的、分别独立展开的,而是作为一个整体,在大脑视皮层的不同区域以及不同层次同时展开,信息的平行处理和交叉处理并存。一般来说,大脑对视觉信息的认知操作可以分成四个具有不同功能的系统,分别处理形状、空间、色彩、运动等信息。大脑对图像的深度、色彩、形状等进行整体上的认知,把片断的属性整合起来,这样才形成对图像的“辨认”。（一）色彩认知埃德温·兰德(EdwinLand)把眼睛的视网膜(retina)和大脑的视皮层(cortex)两个单词合二为一,发明了英文单词“retinex”,意在说明色彩认知不仅有视网膜参与,而且和视皮层的工作有关。从生理学意义上来讲,眼睛对颜色的获取是不同波长的光线刺激视网膜上可以感受色彩的视锥细胞的结果,大脑会形成对色彩的理解,并且具有以下特点。第一,色彩感知的恒常性。第二,色彩感知的记忆性。（二）运动认知运动认知也经历了从眼睛到大脑的处理过程,弗兰西斯·克里克将其分为短程系统处理和长程系统处理。“前者发生在比后者较早的加工阶段。短程系统并不能识别物体,仅能识别由视网膜接收并传递到大脑的光模式的变化。它可以抽提运动的‘基元’,但并不知道是什么物体在运动。”“长程运动不仅登记运动本身,而且还登记是什么物体从一个地方运动到另一个地方。长程运动系统受注意的影响。”关于运动的知觉反应可以分成几种类型:真动知觉、似动知觉和诱动知觉。真动知觉是物体的确发生了运动,人眼也正确感知到了这种运动。而似动知觉和诱动知觉则都是假运动,只是它们欺骗眼睛的方式不同。（三）形状认知眼睛对形状的辨识是视觉、触觉协同活动的结果。神经科学家大卫·休伯尔和托斯登·威塞尔发现,有些细胞对视觉形状的元素(比如直线、边缘)比较敏感,它们被称作“特征察觉细胞”(featuredetectorcells),是辨析形状的主力军。（四）空间认知投射到视网膜上的图像是两维的,它们如何被大脑辨识并还原成三维的呢?可以从单眼线索和双眼线索分别进行考虑。第一,仅凭单眼视觉就可以对空间远近或深度进行判断,大脑在此时对空间的判断主要依据以下几方面的线索:(1)相对大小。越大的物体距离越近。(2)相对高度。越靠近水平线的物体距离越远。(3)重叠。以谁盖住谁决定深度的前后,被遮住的物体看起来距离比较远。(4)影子。影子的出现可以帮助理解空间的深度。(5)大气透视。距离远的物体因为空气透视的原因,显得比较模糊。(6)直线透视。平行线向远处延伸,似乎在无限远处相交于一点。第二,双眼视觉对空间深度的判定如下:(1)双眼像差。(2)双眼辐辏作用。总的来看,大脑对视觉的感受从现实而来,但是同时又存在主观加工,这个加工的过程有两个依据:根据环境——联系所观察事物处于何种环境、何种位置,以及与周围事物的关系;根据经验——联系记忆里曾经有过的相似经验。在这些相互关联的信息中,大脑最后会得出一个综合判断。这个判断虽然在总体上讲是对现实的反映,但是同时也具有个体色彩。第三节视觉认知与信息传播一、认知与情绪除了认知过程,人类还有一个重要的心理活动,谓之“情绪过程”(emotionalprocess)。人在认识周围世界的时候,会以某种态度来对待它们,内心会产生特殊的体验,或兴奋或沉醉,或愉悦或沮丧,还有我们通常所说的喜、怒、哀、惧以及美感、理智感、自豪感、自卑感等,产生这些心理现象的历程被心理学研究者称为“情绪过程”。案例FCB方格与消费者购买决策行为的理性和感性特征FCB方格是1980年博达大桥广告公司(FooteCone&Belding)的理查德·沃恩(RichardVaughn)开发的一个广告策划工具(见图3-10)。在水平方向上,从左到右显示消费者决策是从理性到感性,在垂直方向上,自下而上则显示消费者是从低参与度到高参与度。所有的产品和服务都可以通过社会和营销研究放入这个模型中,然后进行定位,以确定按照认知和情感诉求的适当组合来有效地销售它们。

图3-10

FCB方格在这个模型中,对高参与度且需要认知参与的商品,消费者可能会比较产品功能和相对成本,广告营销将需要更多的分析和事实内容或“硬卖”的论据来说服人们购买。对高参与度且主要需要情感参与的商品,如香水、时尚产品,广告营销则需要强调感性的诉求。对低参与度且需要情感参与的商品,如香烟,则不需要任何逻辑性的购买理由。认知诉求的商品适合进行语言论证,情感诉求的商品则适合通过图像进行视觉说服。大卫·奥格威(DavidOgilvy)曾说道:“为任何一种酒做广告都是一种极其微妙的艺术。我曾经试图用理性的事实来论证消费者为何要选择一个品牌的威士忌,这并不奏效。”广告策划者们关注到了情感诉求对消费者的影响,并通过图像进行视觉说服。事实上,视觉很容易受到政治、经济和既得利益者等的操纵。二战前的德国纳粹宣传不是从控制口头语言开始的,而是从艺术、建筑和电影方面着手的,在情感上捕捉人们,有意绕过理性。今天,从MTV到互动视频游戏,再到虚拟现实(virtualreality)等娱乐活动中都可以看到视觉对感知同样的影响。视觉力量对我们的情感发展产生了巨大的影响,有意的或者无意的,积极的或者消极的,它们都将我们的态度、想法和行动推向特定的方向。二、视觉思维视觉思维(visualthinking)最早由格式塔心理学者鲁道夫·阿恩海姆提出,在他看来,视觉认知的过程就是视觉思维的过程。心理学家麦金(RandolphH.McKim)发展了阿恩海姆的观点。他认为,“视觉思维借助三种视觉意象进行,几部分之间相互作用:一是客观可见的部分(vision);一是想象虚拟的部分(imagination);另外一个是构建的部分(composition)”。视觉思维的提出,有助于我们理解知觉与思维、感性与理性之间的关系。哲学心理研究者傅世侠认为,视觉思维是一种与言语思维或逻辑思维不同的富于创造性的思维,它有三个方面的特点:其一,它具有源于直接感知的探索性;其二,它具有运用视觉意象操作而利于发挥想象作用的灵活性;其三,它具有便于产生顿悟或诱导直觉,也即唤醒主体的‘无意识心理’(unconsciousmind)的现实性。三、视觉注意人们并非被动地去观看事物,而是主动地寻找关注的事物,将注意力锁定并集中在特定的目标事物上。但是视觉注意力的特点是持续时间短,而且很快就会发生转移。从客观观察对象的角度来讲,那些在外观、颜色等方面的强烈视觉刺激,或者和观者的个性、情绪相符合的视觉刺激更加能够引起人的视觉注意。而从主观角度来说,主体要发展视觉注意力,首先要克服一些认知过程中存在的注意力“盲视”。注意力的发展可以分成几个阶段:能否产生注意,能否持续注意,注意什么内容,以及如何分配自己的注意力。延伸阅读眼动研究眼动仪是一种测量人眼活动情况的专用实验设备,一般用于心理学、认知科学、神经科学、语言学和医学研究,近些年也被用于大众传播学研究。其工作原理是:人在进行无意注意或者有意注意时,眼睛的视线总是从一个关注点跳到另外一个关注点,然后停顿片刻,注视新的目标,随后又继续跳动,再停顿,最后达到对某一事物整体的观察。眼动仪根据视觉的这个特点,着重研究注意时眼球运动的轨迹,以确定视觉关注的重点、不同部分所起的作用,进而分析信息加工过程的特点。眼动是由视网膜的中央凹的生理结构造成的。中央凹位于视网膜的中心位置,为了准确捕捉信息,眼睛在对焦的时候就必须不断运动,让影像出现在中央凹处。人们的眼睛时而急促地运动,这是对目标的搜寻和兴趣点的转移;时而又会停顿下来凝视,此时是对某样事物或者某个细节产生了兴趣。视线的移动是有目的地寻找猎物。在视觉搜索过程中,眼球不断地跳动,眼跳与凝视交替进行,从而获取观看物的信息。人眼的运动揭示了人们的视觉注意力的聚焦之处,通过研究眼动可以了解人们的视觉认知方式,人们眼睛移动的轨迹,描绘出一幅认知地图。法国科学家埃米尔·雅瓦尔(LouisÉmileJaval)在其发表于1878—1879年的一系列论文中研究了眼动现象,并将之命名为“扫视”(saccades)。美国心理学家巴斯韦尔(GuyThomasBuswell)也是对20世纪早期眼动研究发展起到重要推动作用的学者。20世纪30年代,他对图画观看展开系统研究,探索了人们观看复杂图片时候的眼动过程。他的研究说明,图画观看和文字阅读的眼动存在着重要的差异。看图与阅读相比,前者更是一个不断搜寻探索的过程,而后者只需要一行行按照顺序阅读即可。巴斯韦尔还发现,看图存在非常大的个体差异,超出了绘画类型带来的差异,看图之前的指导语对眼动特征有明显影响。1950年,苏联心理学家阿尔弗雷德·雅布斯(AlfredL.Yarbus)进一步探讨了眼动和认知处理的关系。他研究发现,在注视一幅画的过程中,观察者的眼睛经常返回去注视图中被其认为重要的部分,如观察一张女性头部的图片时,主要就是对她的眼睛、嘴唇等部分的交替注视,如图3-11所示。此外,在另一项研究中,雅布斯给观者布置了不同的任务,让他们分别就图中人物的经济条件、年龄、活动、衣饰、位置以及关系进行观看,由于信息的差异,眼动的痕迹也大不一样。

图3-11观看人脸时候的视线活动资料来源:YARBUSAL.Eyemovementsandvision[M].NewYork:PlenumPress,1967.如今,眼动仪仍然在研究中被应用,但是已经不再局限于视觉认知的研究,在平面设计、大众传播领域也得到广泛应用。传媒学者马里奥·加西亚(MarioGarcia)和佩姬·斯塔克·亚当(PegieStarkAdam)都使用眼动仪研究读者的阅读方式,了解他们读报时对不同色彩、不同类型的照片以及其他版面设计元素的反应,这些研究结果对报纸版面设计人员来说相当有价值。案例利用眼动仪研究青少年是否会注意香烟广告的警示语1994年,科罗曼(D.M.Krugman)等受美国卫生与公众服务部的委托,对香烟广告的警示语的效果展开研究,研究的主要目的是比较法定的常规警示语和新式的创新警示语对青少年的影响,从而为警示语的改进提供参考。他们在两种品牌的香烟广告里,分别使用常规警示语和创新警示语,将其夹杂在杂志里面,随后给326名青少年观看。测试使用了眼动仪设备,受试者在观看过程中全部的眼跳和凝视运动轨迹都被当时最新式的眼动仪记录下来。眼动仪的调查结束之后,研究者又进行了一个匿名的问卷调查,分析员对注意到广告中警示语的人数、他们第一次凝视警示语的时间以及一共观看的时间进行了统计。调查结果显示,在两种广告同时出现的情况下,年轻人对新式的警示语关注度更高,它比常规警示语更容易吸引青少年的目光。新式警示语在1秒到2.5秒就能吸引读者的视线,一共关注的时间在2秒到3秒。在全部受试者中有44%的人根本没有看到广告中的警示语。此外,即使看到了这些警示语,青少年也只花了8%的精力关注它们。眼动仪的实验和回访的结果完全吻合。研究者认为,广告的作用主要是激起人的情感反应,最有效的广告一般都是非语言广告。按照左右脑分工的理论,这样的广告能够充分调动右脑的运作,使其去辨认图形、忽视细节,同时产生情绪上的回应。而广告中的警示语却是以文字形式出现的,是用来“读”的。假如消费者一定要关注的话,必须使用大脑的另外一个通道,需要一些理性的思考,而对于年轻人来说,这和他们之间存在着一定距离。四、视觉记忆信息在向大脑输送的同时也在进行储存,储存分为三个阶段。首先是感官记忆(sensorystorage),包括视觉、听觉信息等在内的各种讯号,以感觉刺激的形式经由感官接收,在感官上做短暂的停留。其次是短期记忆(shorttermmemory,STM),感官获得的信息只有部分进入短期记忆区,在这里大脑将对这些信息进行进一步处理。最后是长期记忆(longtermmemory,LTM),信息进入这个区域将被分门别类地长期储存,主要编码方式是意码。视觉信息的三总储存类型：第一种是视像记忆(iconicmemory),是在视网膜上形成的感官记忆,储存时间非常短暂。第二种是视觉短期记忆,是视觉记忆的暂存区,不过视觉短期记忆有其独特方式,“美国耶鲁大学和范德堡大学的研究显示,相比于手表或汽车等物体,人们能在视觉短期记忆区记住更多的人脸信息,研究者认为,这是因为大脑对人脸信息使用了特殊的压缩技巧,就像通过折叠能把更多衣服装进衣箱”。第三种是视觉长期记忆,视觉信息被长期保存,并且帮助今后进一步的视觉认知。人们主要通过四种策略形成视觉记忆:(1)言语描述(2)心理想象(3)视觉观察(4)联想,记忆检索思考题1.寻找更多的视错觉图形,研究它们为什么会欺骗我们的眼睛,以及由此带来怎样的启示。2.运用视知觉理论对“视而不见”这种现象进行解释。3.尝试用格式塔心理学的理论分析艺术作品,你能发现什么?4.举例说明传播学者保罗·马丁·莱斯特的“视觉的圆圈舞”现象。第四章视觉表征“视觉表征”(visualrepresentation)也可以表述成“视觉再现”,是用图像等符号进行指代,把事物的现象、意义通过物质媒介以视觉化的方式再现,并在不同程度上实现其交流的功能。第一节表征与视觉表征一、表征对表征的研究在多个领域展开,比如哲学、心理学、语言学、艺术,不同领域对于“表征”问题有不同的侧重点和理解。这里主要介绍分别作为心理概念和文化符码的表征。第一,作为心理概念的表征。在心理学领域,表征是认知心理学的核心概念,在认知心理学研究者看来,“表征是指可反复指代某一事物的任何符号或符号集。也就是说,在某一事物缺席时,它代表该事物;特别地,那一事物是外部世界的一个特征或者我们所想象的一个对象(即我们自身的内心世界)”。第二,作为文化符码的表征。认知心理学对表征的关注侧重于信息呈现给眼和脑的过程,而艺术、语言学和文化研究等领域则关注作为“符号或意向”的表征,这些领域对表征的研究是在探讨文化和符号的关系中衍生出来的。表征一方面涉及符号与意图、符号和被表征物之间的关系,另一方面又和特定语境中的交流、传播、理解和解释密切相关。尽管在不同领域对表征的研究切入点不同,但对表征问题的关注具有一些共有的特点。其一,表征有两重含义:一个是作为名词的表征,指的是承载着意义的符号。一个是作为动词的表征,是指以符号为中介进行意义的传播。这两重含义也在强调表征具有生产和交流两个层面。其二,当表征作为名词的时候,符号和其所指代项并不是一对一的反映关系。其三,当表征作为动词的时候,表征系统给予我们理解世界的方法和途径。从以上三个方面可以看到,对表征问题的理解和分析要在特定的语境和实践中进行。首先,表征是一个相对的体系,对表征的探讨没有一个绝对正确的标准答案,不存在所谓真正的或者永远不变的意义。其次,表征是一个运动的体系,意义并非是对现实直接和透明的反映。二、视觉表征视觉表征更进一步将表征问题聚焦于“视觉”,它是以图像符号为中介,以观看活动为中心而进行的意义交流。“视觉表征”可以是一个名词,即对现实世界再现和表述的图像符号;同时也可以是一个动词,即图像符号对现实世界再现和表述的过程。由于图像具有直观可视的特点,并且往往被赋予一种真实性,因此图像符号的表征问题就复杂起来了。对视觉表征的研究也在认知心理学、艺术哲学和文化研究等多个层面展开。第一,在认知心理学领域,观看图像的时候观者的头脑里究竟产生了怎样的图景,即视觉表征是如何在心理层面运作的?有三种理论对此进行了一定的解释:错觉(illusion)理论、假装(makebelieve)理论看进(seeingin)理论。第二,在艺术哲学领域,对于视觉表征问题的关注,主要体现为对艺术和其指涉物关系的探讨。第三,在文化研究领域,表征被视为一种符号,更偏重于从结构主义的思路出发,关注表征中能指和所指的关系。延伸阅读基于视觉文化分析模式解读图像约翰·A.沃克和萨拉·查普林在《视觉文化导论》一书中,介绍了视觉文化分析模式,总结出对视觉文化进行解读的12种方法。两位作者认为,如果将日常生活中的大多数视觉符号置于一个统一的文化背景下,则大都通俗易懂,但对于不同的观者来说,意义各不相同,仍然存在一些视觉符号需要进行深度的、有意识的系统分析,也就是所谓的“精读”。这种精读是对视觉符号意义的深度研究,也是在深度研究视觉表征的问题。●形式和内容分析:内容分析和形式分析是关注点不同的两种方法,但是这两种方法常常被综合在一起使用,因为就视觉文化而言,形式和内容常常是无法分开的整体。就内容分析来讲,其中又包括直白内容和隐匿内容,罗兰·巴特创造了术语“外延”(denotation)和“内涵”(connotation)来把字面上的意义(直白内容)和让人生发的联想(隐匿内容)区分开来。但是对隐匿内容的解读和界定非常困难,因此巴特又引入了另外一个词——“神话”(myth)来对这种现象进行深入探讨。●内容分析法(contentanalysis):这是一种广泛应用于大众传播学的定量分析方法。首先进行抽样,然后对样本进行数据统计,随后以数据为基础进行阐述(参见第二章第二节)。内容分析法也可以用于视觉分析,有研究者曾经对艺术品世界里男性作品和女性作品的数量进行统计,以揭示女性所受到的歧视,这就是一种对内容分析法的应用。内容分析法是对直觉印象的进一步证实,但同时它又在客观性、精确性以及验证效能等方面占据优势。通过对数据的统计和分析,它可以揭示传媒在视觉表征中可能存在的偏见。●图像志和图像学(iconographyandiconology):图像志的研究方法被很多艺术史学家和电影批评家采用,其中具有代表性的是美国艺术史学家潘诺夫斯基(ErwinPanofsky)。他确定了图像的三个等级:第一,初级或者自然的主题(primaryornatural);第二,中级或惯例主题(secondaryorconventional);第三,内在意义或内容(intrinsicmeaningorcontent)。这是一个对图像认识不断深入的过程,潘诺夫斯基认为,第一层次是几乎所有人都可以理解的,他又将这一层次继续划分为事实(factual)和表现(expressional)两层,肯定了艺术作品中表现风格和手法对于传递信息具有重要作用,但是同时又认为,最重要的还是图像的意义而不是其现实性(realism)和客观真实(externalreality)。图像志的分析方法是从中级开始的,即对画面的人物个性象征等进行鉴别,最后在第三个层次上揭示出图像的内在含义。这种抽丝剥茧的方法是图像志的研究方法。潘诺夫斯基将其定义为艺术史的支脉,关注的是与形式相对应的作品主题或意义,图像志更长于分析象征性图像,对于分析抽象艺术和大多数建筑似乎显得力不从心。如果说图像志侧重描述和分类,图像学则倾向解释和阐释,后者是一种综合的研究方法,其研究者要利用来自不同领域(比如宗教学、哲学、社会学)的研究方法,将图像置于一个社会图景中进行研究。●神话学(mythologies):这是罗兰·巴特在研究图像时提出的观点,他这种从外延到内涵再一直到神话的译解程序(decodingprocedure),同潘诺夫斯基的主张一样也是由浅到深的分析方法,都在揭示图像隐匿的内在含义。●类型和样式分析(genreandtypeanalyses):这种方法通过把具有同一种属性的艺术作品进行归类,从而创造一种共同的解读语境,在此基础上展开对比和分析。●形式和风格分析(formandstyleanalyses):形式是针对视觉艺术作品的具体表现技巧来谈的,色彩、形状、质地等都是形式的一部分,电影里的摄制、照明、色彩,主持人的拍摄视角,这也都是形式。由于形式和内容是统一的整体,对形式的讨论也可以折射出其内容的含义。而风格则被认为是更加带有创作者个体精神力量以及意识形态问题的一种表现形式。虽然形式和风格看似一目了然,但是对它们的研究也很复杂,因为“怎么说”并非是“说了什么”。●符号学分析(semioticanalysis):符号学分析的方法原本根植于对文字语言的解析,但是目前视觉传播研究者、美术史家、批评家也接受了符号学,因为符号学提供了一套完善而成熟的图像解码的方法。●结构主义(structuralism):结构语言学假定人类文化和社会行为是被整合过的语言,它既有表面结构也有深层构造。结构主义的分支之一结构人类学研究的是人类的亲缘关系、体系、传说、神话、符号系统等等,其目的是揭示它们的隐匿结构、社会作用以及影响它们演进的变化规则。其开创者是法国的克洛德·列维-斯特劳斯,他的著作于20世纪60年代和70年代甚为风行,在广告、美术、建筑、美术史、时装和通俗文化等领域产生过重大的影响。●解构(deconstruction):这个词在20世纪60年代起源于法国学者雅克·德里达(JacquesDerrida)以及让-弗朗索瓦·利奥塔(Jean-FrancoisLyotard),他们拒绝接受现有哲学体系中的主张,对其进行分解和重构,打破单元化的秩序,然后进行重构。解构主义的思潮也影响了建筑、艺术领域,很多后现代艺术家将其作为自己作品的哲学基础。●物理语境(physicalcontext):这里涉及艺术作品的解读语境,比如陈列环境对艺术作品的解读就有暗示。●互文性(intertextuality):几乎所有图像都“引用”、借鉴或者涉及历史上或同时代的其他图像。文本与文本之间的接合被文学理论家称为“互文性”或“文本间性”。对图像意义的解读由此可以进行追溯和比较,寻找其从一种文化移转到另一种文化的轨迹,以及其可能存在的变异。●诠释学(hermeneutics):诠释是在理解图像的基础上对其进行注释和阐释,但是一些学者,比如苏珊·桑塔格(SusanSontag)就明确提出要反对阐释,她认为这种阐释反而让艺术变得死气沉沉。第二节视觉表征与意义交流表征的生产者如何让符号和世界构成再现关系,表征的观者又如何从中获得世界的再现?我们在此将利用W.J.T.米歇尔的表征体系四边形模式展开分析。米歇尔认为,表征体系是一个四边形,有两条斜线作为轴线:一条斜线连接能指和所指,即表征的物质符号与其所指涉对象;另外一条斜线则把表征的生产者和观者连接起来。连接能指和所指之间的轴线叫作“表征轴”,而连接表征的生产者和观者之间的轴线叫作“交流轴”。一、表征轴中图像的能指和所指（一）相似理论传统观念认为,图像总是在指代和它相仿的事物,通过相似关系实现表征。相似理论认为,图像与客体(被表征物)之间的表征关系存在以下三个特点:(1)形象论(figurativethesis):对于每一个表征,其对象都可以用形象化的术语来描述。(2)存在论(existentialthesis):必须存在一个被表征的东西能够归属的实例,想象、神话和传说之物无法表征。(3)描绘论(portrayalthesis):对于每一个表征,都有一个被代表的特定事物,每一个表征都是有关其的一个肖像式描绘。总之,相似理论发现了图像表征的一个特点,即图像和所指代物之间存在着外在相似的特点,这是文字表征所不具备的。（二）再现理论再现理论是一种改良的相似理论。可以说,作为相似理论的改良,再现理论实质上是在表征轴之外同时考虑到了交流轴的作用,把观者如何观看也纳入对表征的讨论之中。（三）象征理论以纳尔逊·古德曼为代表的一些学者认为,对相似的强调束缚了图像的表达,在他们看来,将相似性作为衡量图像价值的标准无疑是一种错误。“所谓现实主义再现不是取决于模仿或幻觉或信息,而是取决于教导。几乎任何图像都可以再现几乎任何东西。这就是说,只要给出图像和对象,通常就有图像再现。”（四）自我指涉模式福柯发展了符号学理论对表征问题的分析，提出三种递进的话语模式:相似性模式、表征模式和自我指涉模式。相似性模式的话语,认为符号的价值是因其与某物的相似而构成的。表征模式的话语,强调符号的象征性,话语的能指/所指/相似三元结构逐渐被能指/所指的二元结构取代。而自我指涉模式,让符号自身的重要意义凸显出来。（五）总结：从符号的分类角度考虑图像的表征以上对图像符号的分析站在不同角度从不同立场出发,桑德拉·默瑞亚蒂认为,实际上可以考虑图像的类型,然后再考察它的表征方式。这样,就不存在一种单一的图像表征范式。皮尔斯首先将符号界定为由再现体、对象(object)与解释项(interpretant)这三项组成。他根据能指和所指之间的关系,进一步将符号分为图像符号(icon)、标志符号(index)和象征符号(symbol)。二、交流轴中图像生产者和观者之间的关系（一）自然感知说这种看法将图像认知看作一个自然处理的过程,观者使用的是内在的生理感知系统,观看是一个客观的过程。（二）推演说推演说以自然感知为基础,提出了一种更为复杂的认知处理过程。它认为观者的观察从视觉上的线索(感知)开始,通过大量的平行处理,假设关系和模式,最终得出结论。这种观看的过程利用的是大脑的认知能力。（三）文化惯例说文化惯例说的核心观点认为,观者是通过自己的文化经验对图像进行解码分析的。（四）总结：从不同认知层次考虑图像的意义桑德拉·默瑞亚蒂就此总结,在视觉传播研究中,可以把人们对图像意义的认知分为四个层次,从不同层次探讨生产者和观者之间的关系:第一层次是辨认图像符号的信息,观者通过视觉符号的相似性来了解它的意思;第二层次是理解,主要指对标志符号和图像符号的理解,观者在推演的基础上,通过归类的方法了解图像的意义;第三层次是解释,观者完全站在主观的角度进行解读,一般对象征符号的解读都是在这个层次;第四层次是综合,将以上各种方法综合在一起,主要处理对比较复杂的图像的理解。第三节视觉表征的符号学分析符号学旨在分析意指现象中的秩序,它利用了来自语言学的分析性概念,尤其是瑞士语言学家索绪尔(FerdinanddeSaussure)的观点。基于符号学的视角,语言不再是一个简单的事物和意义之间的中介,它们的约定俗成值得深究,通常还会“另有所指”,把视觉表征视为符号,引发我们关注视觉符号和所指代物之间在文化和社会规约之下产生的构成关系。一、符号学的领域（一）语言结构和言语语言结构是人们进行交流所必需的规约系统,言语(parole)是语言的纯个别性方面(发音、规则的实现、记号的偶然性组合),语言结构和言语相加等于语言(language)。语言结构是一种社会制度系统,言语是个别性的选择行为和实现行为,两者之间是一种相互蕴含的关系。（二）所指和能指这一概念来自索绪尔,他指出,符号是一种双面的心理实体(twosidedpsychologicalentity),它是语言的基本单位。符号由两部分构成,一个是符号的能指,一个是符号的所指,它们就如同一张纸的双面统一不可分开,并同时附着在符号这个载体上面。所谓“能指”,是符号的外在形式,比如词语、声音、表情或者影像等;而“所指”是符号的意义,比如从符号获得的经验、了解的内容或者是听到之后的反应。（三）系统和组合索绪尔认为语言学中各词的联结是在两个平面展开的:一个平面是组合段平面,即组合面。它是线性的和不可逆的,词项构成一种言语链,以现在时发挥作用。另一个平面是联想平面,也称为系统面。彼此具有共性的单元在人的记忆中联系起来,词项以“不在式”结合在一起。组合面更接近言语,系统面则可以比作语言结构。（四）直接意指和含蓄意指我们如果用e表示能指(表达面),c表示所指(内容面),R表示意指关系,那么可以得出关于“符号”的一般公式eRc,是一种直接意指。一个eRc系统也可以变成另一个系统中的一部分,成为另一个意指系统的表达面。由此,我们获得了一个新的公式(eRc)(表达面)R(意指关系)c(内容面),那么这里的(eRc)Rc就是一种含蓄意指。二、用符号学解码视觉表征（一）解码广告广告充满意图,却往往通过一种自然主义的手段把意图隐藏其中。朱迪斯·威廉姆森(JudithWilliamson)基于符号学的理论分析了意义是如何进入广告之中的。第一,广告中的能指和所指。第二,广告中的含蓄意指。第三,广告把观者放在指涉世界中。（二）解码电视斯图尔特·霍尔主张,电视节目应该被理解为“有意义的话语”。无论是报道的场景和样式还是人员选取和影片剪辑,都在运用着一些“专业符码”(professionalcode),制作人、编辑、灯光、摄影师和主播等使用着共同的语言。更进一步,斯图尔特·霍尔认为媒体信息和意识形态及权力紧密关联,后者构建了一种表征世界的方法和形态,其实质是表征了一个有偏见的,其运作有利于统治群体的世界观。这样,

电视文本形成了一种复杂的符号编码,观者则有三种可能的解码方式：一是主导-霸权式解读(dominanthegemonicreading),这种解码方式体现为观者需要遵循电视节目制作者的逻辑来解读。二是协商式解读(negotiatedreading),即观者在主导的框架之内,产生一些不同的意见,对主导框架的某些方面进行特定的挑战。三是对抗式解读(oppositionalreading),即观者站在一个完全相反的位置,或者是对图像内在蕴含的意识形态持反对意见。以上只是对广告和电视节目做符号学分析的一些主要观点,从更广义的范畴来说,对于视觉表征的符号学分析,可以参考吉莉恩·罗斯提出的分析步骤:(1)辨认符号种类。(2)辨认符号本身的指涉。(3)思考符号和其他符号间的关联。(4)探讨符号与广大意义系统的联结。(5)回到符号本身,再度观察它的含蓄意指。案例彼得·汉弥尔顿对战后法国平民主义摄影的表征研究彼得·汉弥尔顿的主要研究对象是第二次世界大战之后(1944年到20世纪50年代)的法国图片报道,这类摄影题材聚焦于常人的生活,这些人差不多都是首次成为图片摄影的主要题材。这类题材的摄影作品属于纪实摄影。报道体现了当时一