计算机视觉的困惑

1、计算机视觉的现状与困惑计算机视觉的现状与困惑测绘遥感信息工程国家重点实验室测绘遥感信息工程国家重点实验室李德仁李德仁2011年年11月月26日日 武汉武汉 弘毅讲堂弘毅讲堂 2011主要内容主要内容 什么是计算机视觉？ 如何用计算机视觉模拟人眼？ 计算机视觉存在的困惑 结束语什么是计算机视觉？什么是计算机视觉？定义定义1 1 from K. Kanatani, “Statistical Optimization for Geometric Computation: Theory and Practics”, 1996.“从视频影像中提取三维信息，进行三维场景建模，称为计算机视觉，或者影像理解，

2、是当今世界最受关注的研究领域之一”“计算机视觉是通过计算机辅助，用二维图像认知三维环境，该学科旨在为计算机和机器人开发出具有与人类水平相当的视觉能力”什么是计算机视觉？什么是计算机视觉？定义定义2计算机视觉计算理论与算法基础 马颂德, 张正友, 1998.“计算机视觉是通过计算机硬件和计算机视觉是通过计算机硬件和软件，从二维图像软件，从二维图像(单张单张,多张和视多张和视频影像频影像)中自动提取图像目标及其中自动提取图像目标及其环境的几何环境的几何(形状形状,大小大小,位置等非语位置等非语义信息义信息)和物理特性和物理特性(性质性质,类别，属类别，属性等语义信息性等语义信息),获得与人类视觉水

3、获得与人类视觉水平相当的视觉能力平相当的视觉能力”什么是计算机视觉？什么是计算机视觉？如何用计算机模拟人眼？如何用计算机模拟人眼？影像处理影像处理计算机图形学计算机图形学几何几何属性属性 (3D)物理物理属性属性影像影像 (2D)+视差原理视差原理计算机视觉计算机视觉深度、大小、深度、大小、形状、位置等形状、位置等几何信息几何信息特征提取与模特征提取与模式识别式识别对象、属性、对象、属性、关系、行为等关系、行为等语义信息语义信息 基本问题： 给定一个目标或者场景的若干不同视角的影像，重建该目标的三维形状计算机视觉探测几何属性计算机视觉探测几何属性从生理视差到人造视差从生理视差到人造视差多目立体

4、摄影测量系统多目立体摄影测量系统智能化近景摄影测量网络智能化近景摄影测量网络支撑基座，相当于肩部支撑基座，相当于肩部基线的长度可变，以适应基线的长度可变，以适应摄影测量的不同几何精度摄影测量的不同几何精度要求要求立立体体摄摄影影机机多目立体摄影测量系统多目立体摄影测量系统多目立体摄影测量系统拍摄多目立体摄影测量系统拍摄的多视角敦煌壁画的多视角敦煌壁画三维重建结果三维重建结果(from images to surface)多目立体摄影测量系统多目立体摄影测量系统不同视角的帽子图像，帽子不同视角的帽子图像，帽子上的纹理是为了精确匹配和上的纹理是为了精确匹配和识别识别三维重建结果三维重建结果敦煌月牙

5、泉 Crescent Spring寻找陨石寻找陨石火星表面三维实时建模火星表面三维实时建模智能机器人智能机器人激光扫描重建激光扫描重建激光扫描重建激光扫描重建TLSPoint cloudDCImageStereo cameraStereo imageTotal stationControl pointsALSPoint cloudImageDem+DomFacadeMural and StatueAncient buildingDigital documentation作业流程作业流程( Working flow)MappingPreprocessingshootingLaser Scanni

6、ngModelingObjectPoint CloudSurface ModelRaw ImageTextureTextured Model3.2 Point cloud data processingTIN of a statuary in 196 caveModel of a statuary in 196 caveTIN of 285 caveModel of 285 cave3.6 Results 196 Cave基于机载和地面激光雷达的三维数字莫高窟基于机载和地面激光雷达的三维数字莫高窟计算机视觉提取物理属性的方法计算机视觉提取物理属性的方法Data driven基于灰度和光谱基于灰

7、度和光谱(Gray Levels)基于特征基于特征(Features)基于结构和纹理基于结构和纹理(Structure and Texture)基于内容基于内容(Content)如何用计算机模拟人眼？如何用计算机模拟人眼？线性特征线性特征如何用计算机模拟人眼？如何用计算机模拟人眼？纹理特征纹理特征如何用计算机模拟人眼？如何用计算机模拟人眼？形状特征形状特征基于内容的图像检索基于内容的图像检索无需人为干预和解释，通过计算机自动实无需人为干预和解释，通过计算机自动实现对图像的视觉内容现对图像的视觉内容(颜色、纹理、形状等颜色、纹理、形状等)进行分析、检索和存储。进行分析、检索和存储。检索词：检索词

8、： 云层、植被云层、植被人眼检索人眼检索特征明显、结果精确，但疲劳、耗时特征明显、结果精确，但疲劳、耗时电脑检索电脑检索错检、错检、漏检、特征提取困难，但节省人力漏检、特征提取困难，但节省人力基于内容的图像检索基于内容的图像检索华盛顿机载高光谱影像华盛顿机载高光谱影像光谱光谱用遥感影像确定地物属性用遥感影像确定地物属性纹理纹理形状形状对象对象利用超光谱图像进行识别利用超光谱图像进行识别光谱反射曲线影像立方体ABC计算机识别人脸计算机识别人脸计算机识别人脸计算机识别人脸S1S1C1人眼识别人眼识别精确、快速、耗时精确、快速、耗时电脑检索电脑检索存在错误、节省人力、特征难以确定存在错误、节省人力、

9、特征难以确定计算机视觉的困惑计算机视觉的困惑 计算机视觉可以比人类视觉有更强的几何信息提取功能(where),但对语义信息的语义信息的提取功能(what)却远远低于人类视觉; 计算机视觉尚不了解人类视觉感知和认知的过程,也不了解人类视觉中的记忆,联想,对比等在视觉认知中是如何起作用的.计算机识别人脸计算机识别人脸=？计算机很难用上述方法区分相同特征的人和狗计算机很难用上述方法区分相同特征的人和狗“Sally”计算机识别人脸计算机识别人脸特征提取特征提取模式分类模式分类特征提取特征提取模式分类模式分类Who?计算机视觉提取物理属性的方法计算机视觉提取物理属性的方法Knowledge driven

10、基于基于 地学知识地学知识基于基于3D先验知识先验知识 (DOM,DEM,DLG)基于数据挖掘基于数据挖掘(Data Mining)基于信息融合基于信息融合(Information Fusion)33Scientific American 2003神经元的信号神经元的信号,穿越视网膜穿越视网膜,到到达大脑后部的第十七区达大脑后部的第十七区(Area 17),在此在此,这些信号被分解为这些信号被分解为一些简单的共性一些简单的共性,如如:色彩色彩,形形态态,运动和深度等运动和深度等.结束语结束语 计算机视觉提取几何信息计算机视觉提取几何信息(感知感知)比人强比人强,提取物理信息提取物理信息(认知认

11、知)远比人差远比人差; 计算机视觉的发展应坚持数据导引与知计算机视觉的发展应坚持数据导引与知识导引的集成识导引的集成; 计算机视觉的进一步发展需要求助于医计算机视觉的进一步发展需要求助于医学家心理学家和生理学家的帮助学家心理学家和生理学家的帮助; 多学科的交叉是必要的和有价值的也是多学科的交叉是必要的和有价值的也是可能的，欢迎有更多的各学科领域的专可能的，欢迎有更多的各学科领域的专家合作家合作,以实现计算机视觉的全自动化。以实现计算机视觉的全自动化。地球空间信息学的使命地球空间信息学的使命(1) 从本质上讲，地球空间信息学应作为认知科学的一个组成从本质上讲，地球空间信息学应作为认知科学的一个组

12、成部分，它要研究和解决如何从各种对地观测数据中智能地部分，它要研究和解决如何从各种对地观测数据中智能地提取信息和知识的问题，从而实现数据提取信息和知识的问题，从而实现数据信息信息知识的自知识的自动转化。来自卫星导航定位系统（动转化。来自卫星导航定位系统（GNSS）的对地观测数）的对地观测数据是以点方式记录的电磁波信号，代表从卫星到达地面目据是以点方式记录的电磁波信号，代表从卫星到达地面目标点的相位和时延；来自光学遥感（标点的相位和时延；来自光学遥感（RS）卫星的数据是面）卫星的数据是面方式的反映地表光谱反射率的灰度矩阵；来自方式的反映地表光谱反射率的灰度矩阵；来自SAR卫星的卫星的数据是卫星后

13、向反射到目标的相位和振幅记录。这些不同数据是卫星后向反射到目标的相位和振幅记录。这些不同类型的电磁波信号均要穿过大气的电离层和对流层，会对类型的电磁波信号均要穿过大气的电离层和对流层，会对原始信号产生干扰和影响，所以地球空间信息学的感知和原始信号产生干扰和影响，所以地球空间信息学的感知和认知涉及到各类传感器的建模、校正与标定，自主定位与认知涉及到各类传感器的建模、校正与标定，自主定位与定姿，各类数据的预处理与精处理，特征提取与目标识别，定姿，各类数据的预处理与精处理，特征提取与目标识别，语义与非语义信息的提取，信息融合与集成，以及空间数语义与非语义信息的提取，信息融合与集成，以及空间数据挖掘与

14、知识发现等方面，是一个复杂的反演问题。当前，据挖掘与知识发现等方面，是一个复杂的反演问题。当前，随着卫星通信技术和嵌入式通用计算技术的发展，为适应随着卫星通信技术和嵌入式通用计算技术的发展，为适应应急任务对航天信息感知和认知的实时要求，在轨处理和应急任务对航天信息感知和认知的实时要求，在轨处理和嵌入式实时智能化处理以实现数据嵌入式实时智能化处理以实现数据信息信息知识自动转化知识自动转化的问题已提到日程上来。的问题已提到日程上来。实时在轨处理的智能对地观测卫星系统（实时在轨处理的智能对地观测卫星系统（IEOS）地球空间信息学的使命地球空间信息学的使命(2) 地球空间信息学又是一门面向经济建设、国

15、防建设和大地球空间信息学又是一门面向经济建设、国防建设和大众民生应用需求的服务科学。它需要从理解用户的自然众民生应用需求的服务科学。它需要从理解用户的自然语言入手，搜索可用来回答用户需求的数据，优选提取语言入手，搜索可用来回答用户需求的数据，优选提取信息和知识的工具，形成合理的数据流与服务链，通过信息和知识的工具，形成合理的数据流与服务链，通过网络通信的方式，将有用的信息和知识及时送达给用户。网络通信的方式，将有用的信息和知识及时送达给用户。从这个意义上看，地球空间信息服务的最高标准是在规从这个意义上看，地球空间信息服务的最高标准是在规定的时间（定的时间（Right Time）将所需位置（）将

16、所需位置（Right Place）上）上的 正 确 数 据的 正 确 数 据 / 信 息信 息 / 知 识 （知 识 （ R i g h t Data/Information/Knowledge）送到需要的人手上）送到需要的人手上（Right Person）。面向任务的地球空间信息聚焦服务，）。面向任务的地球空间信息聚焦服务，将长期以来数据导引的产品制作和分发模式转变成需求将长期以来数据导引的产品制作和分发模式转变成需求导引的聚焦服务模式，从而解决目前对地观测数据又多、导引的聚焦服务模式，从而解决目前对地观测数据又多、又少的矛盾，实现服务代替产品，适应当今信息时代的又少的矛盾，实现服务代替产品

17、，适应当今信息时代的需求。需求。地球空间信息资源网络服务概念模型地球空间信息资源网络服务概念模型空天地一体化信息网络空天地一体化信息网络空间数据资源空间数据资源处理资源处理资源数据注册数据注册数据获数据获取服务取服务组合组合服务服务空天地传感器资源空天地传感器资源分布式分布式注册服注册服务中心务中心知识发知识发现服务现服务处理处理服务服务传感器规传感器规划服务划服务传感器注册传感器注册地学知识资源地学知识资源处理注册处理注册计算资源计算资源网络资源网络资源存储资源存储资源知识注册知识注册可可视视化化服服务务服服务务质质量量评评价价空间信息资源空间信息资源空间信息注册空间信息注册 软硬件基础设施

18、服务软硬件基础设施服务1)云计算与服务技术2)基于云计算平台的遥感图像处理系统3)基于云计算平台的空间信息处理服务小型机大型机个人电脑和局域网 桌面互联网移动互联网面向过程面向对象面向构件面向领域面向服务SOC纸质复印纸质复印基于云计算的基于云计算的注册服务注册服务文件拷贝文件拷贝数据库共享数据库共享虚拟服务虚拟服务服务器集群和虚拟化专业服务导致服务器多样化更多任务由服务器承担服务器登场浏览器浏览器/ /服务器服务器客户机客户机/ /服务器服务器服务器井喷服务器井喷服务器托管服务器托管服务器托管形成市场搜索服务器视频服务器安全服务器邮件服务器数据服务器出现了基于云计算的空间信息服务出现了基于云

19、计算的空间信息服务l 共享计算能力为主的服务l 共享存储能力为主的服务l 共享交互能力为主的服务依托互联网，随时随地获得个性化空间信息服务依托互联网，随时随地获得个性化空间信息服务基于基于Internet的的空间信息服务空间信息服务上海北京深圳 互联网上大量计算资源和服务器井喷互联网上大量计算资源和服务器井喷 如如Google, Amazon, HotmailGoogle, Amazon, Hotmail各自独立提供网络服务 基础设施服务商基础设施服务商如如 Amazon Web servicesAmazon Web services搜索论坛邮件购物聊天软件服务商软件服务商如如Google m

20、apGoogle map和和AppleApple服务服务平台服务商平台服务商如如和和Google APP Google APP EngineEngine软件服务商软件服务商如如salesforcesalesforce软件集成服务商软件集成服务商如如programmable webprogrammable web知名软件服务商同时也可以成为其它SaaS供应商的基础平台云计算与服务技术云计算与服务技术 Microsoft Azure Google App Engine Amazon EC2 & S3基础设施作为服务基础设施作为服务(Infrastructure as a Service (

21、IaaS)平台作为服务平台作为服务(Platform as a Service (PaaS)软件作为服务软件作为服务(Software as a Service (SaaS)OpenRS-Cloud技术体系技术体系2)基于云计算平台的遥感图像处理系统OpenRSOpenRS-Cloud Web型的算法提交界面型的算法提交界面 可 直 接 获 取可 直 接 获 取和 设 定 位 于和 设 定 位 于云 端 的 算 法云 端 的 算 法插 件 的 参 数插 件 的 参 数信息；信息； 可 直 接 利 用可 直 接 利 用远 程 集 群 进远 程 集 群 进行并行处理；行并行处理； 集成集成WebGIS技 术 查 找 感技 术 查 找 感兴 趣 遥 感 图兴 趣 遥 感 图像像OpenRS-Cloud 任务进度查看任务进度查看 通过浏览器可通过浏