计算机视觉的困惑

计算机视觉的现状与困惑测绘遥感信息工程国家重点实验室李德仁2011年11月26日武汉弘毅讲堂2011主要内容什么是计算机视觉？如何用计算机视觉模拟人眼？计算机视觉存在的困惑结束语什么是计算机视觉？——定义1 –fromK.Kanatani,“StatisticalOptimizationforGeometricComputation:TheoryandPractics”,1996.“从视频影像中提取三维信息，进行三维场景建模，称为计算机视觉，或者影像理解，是当今世界最受关注的研究领域之一”“计算机视觉是通过计算机辅助，用二维图像认知三维环境，该学科旨在为计算机和机器人开发出具有与人类水平相当的视觉能力”什么是计算机视觉？——定义2《计算机视觉－计算理论与算法基础》马颂德,张正友,1998.“计算机视觉是通过计算机硬件和软件，从二维图像(单张,多张和视频影像)中自动提取图像目标及其环境的几何(形状,大小,位置等非语义信息)和物理特性(性质,类别，属性等语义信息),获得与人类视觉水平相当的视觉能力”什么是计算机视觉？如何用计算机模拟人眼？影像处理计算机图形学几何属性(3D)物理属性影像(2D)+视差原理计算机视觉深度、大小、形状、位置等几何信息特征提取与模式识别对象、属性、关系、行为等语义信息基本问题：给定一个目标或者场景的若干不同视角的影像，重建该目标的三维形状

计算机视觉探测几何属性从生理视差到人造视差多目立体摄影测量系统智能化近景摄影测量网络支撑基座，相当于肩部基线的长度可变，以适应摄影测量的不同几何精度要求立体摄影机多目立体摄影测量系统多目立体摄影测量系统拍摄的多视角敦煌壁画三维重建结果(fromimagestosurface)多目立体摄影测量系统不同视角的帽子图像，帽子上的纹理是为了精确匹配和识别三维重建结果敦煌月牙泉–CrescentSpring寻找陨石火星表面三维实时建模智能机器人激光扫描重建激光扫描重建TLSPointcloudDCImageStereocameraStereoimageTotalstationControlpointsALSPointcloudImageDem+DomFacadeMuralandStatueAncientbuildingDigitaldocumentation作业流程(Workingflow)MappingPreprocessingshootingLaserScanningModelingObjectPointCloudSurfaceModelRawImageTextureTexturedModel3.2PointclouddataprocessingTINofastatuaryin196caveModelofastatuaryin196caveTINof285caveModelof285cave3.6Results–196Cave基于机载和地面激光雷达的三维数字莫高窟计算机视觉提取物理属性的方法Datadriven

基于灰度和光谱(GrayLevels)

基于特征(Features)

基于结构和纹理(StructureandTexture)

基于内容(Content)

……如何用计算机模拟人眼？线性特征如何用计算机模拟人眼？纹理特征如何用计算机模拟人眼？形状特征基于内容的图像检索无需人为干预和解释，通过计算机自动实现对图像的视觉内容(颜色、纹理、形状等)进行分析、检索和存储。特征提取自动检索查询影像检索词：云层、植被人眼检索特征明显、结果精确，但疲劳、耗时电脑检索错检、漏检、特征提取困难，但节省人力基于内容的图像检索华盛顿机载高光谱影像光谱用遥感影像确定地物属性纹理形状对象利用超光谱图像进行识别光谱反射曲线影像立方体ABC计算机识别人脸计算机识别人脸多尺度S1S1C1多方向流程样本特征提取模式识别决策人眼识别精确、快速、耗时电脑检索存在错误、节省人力、特征难以确定计算机视觉的困惑计算机视觉可以比人类视觉有更强的几何信息提取功能(where),但对语义信息的提取功能(what)却远远低于人类视觉;计算机视觉尚不了解人类视觉感知和认知的过程,也不了解人类视觉中的记忆,联想,对比等在视觉认知中是如何起作用的.计算机识别人脸=？计算机很难用上述方法区分相同特征的人和狗“Sally”计算机识别人脸特征提取模式分类特征提取模式分类Who?计算机视觉提取物理属性的方法Knowledgedriven

基于地学知识

基于3D先验知识(DOM,DEM,DLG)

基于数据挖掘(DataMining)

基于信息融合(InformationFusion)

……33ScientificAmerican2003V1神经元的信号,穿越视网膜,到达大脑后部的第十七区(Area17),在此,这些信号被分解为一些简单的共性,如:色彩,形态,运动和深度等.结束语计算机视觉提取几何信息(感知)比人强,提取物理信息(认知)远比人差;计算机视觉的发展应坚持数据导引与知识导引的集成;计算机视觉的进一步发展需要求助于医学家心理学家和生理学家的帮助;多学科的交叉是必要的和有价值的也是可能的，欢迎有更多的各学科领域的专家合作,以实现计算机视觉的全自动化。地球空间信息学的使命(1)从本质上讲，地球空间信息学应作为认知科学的一个组成部分，它要研究和解决如何从各种对地观测数据中智能地提取信息和知识的问题，从而实现数据—信息—知识的自动转化。来自卫星导航定位系统（GNSS）的对地观测数据是以点方式记录的电磁波信号，代表从卫星到达地面目标点的相位和时延；来自光学遥感（RS）卫星的数据是面方式的反映地表光谱反射率的灰度矩阵；来自SAR卫星的数据是卫星后向反射到目标的相位和振幅记录。这些不同类型的电磁波信号均要穿过大气的电离层和对流层，会对原始信号产生干扰和影响，所以地球空间信息学的感知和认知涉及到各类传感器的建模、校正与标定，自主定位与定姿，各类数据的预处理与精处理，特征提取与目标识别，语义与非语义信息的提取，信息融合与集成，以及空间数据挖掘与知识发现等方面，是一个复杂的反演问题。当前，随着卫星通信技术和嵌入式通用计算技术的发展，为适应应急任务对航天信息感知和认知的实时要求，在轨处理和嵌入式实时智能化处理以实现数据—信息—知识自动转化的问题已提到日程上来。实时在轨处理的智能对地观测卫星系统（IEOS）地球空间信息学的使命(2)地球空间信息学又是一门面向经济建设、国防建设和大众民生应用需求的服务科学。它需要从理解用户的自然语言入手，搜索可用来回答用户需求的数据，优选提取信息和知识的工具，形成合理的数据流与服务链，通过网络通信的方式，将有用的信息和知识及时送达给用户。从这个意义上看，地球空间信息服务的最高标准是在规定的时间（RightTime）将所需位置（RightPlace）上的正确数据/信息/知识（RightData/Information/Knowledge）送到需要的人手上（RightPerson）。面向任务的地球空间信息聚焦服务，将长期以来数据导引的产品制作和分发模式转变成需求导引的聚焦服务模式，从而解决目前对地观测数据又多、又少的矛盾，实现服务代替产品，适应当今信息时代的需求。地球空间信息资源网络服务概念模型空天地一体化信息网络空间数据资源处理资源数据注册数据获取服务组合服务空天地传感器资源分布式注册服务中心知识发现服务处理服务传感器规划服务传感器注册地学知识资源处理注册计算资源网络资源存储资源知识注册可视化服务服务质量评价空间信息资源空间信息注册

软硬件基础设施服务1)云计算与服务技术

2)基于云计算平台的遥感图像处理系统3) 基于云计算平台的空间信息处理服务计算设施软件架构测绘成果共享方式从纸质复印-文件拷贝-网络共享-面向服务架构的服务发布。1970s小型机1960s大型机1980s个人电脑和局域网1990s桌面互联网2000s移动互联网面向过程1970s面向对象1980s面向构件1990s面向领域2000s面向服务SOC2010s从以计算机为中心，到以网络为中心，再到以人为中心纸质复印基于云计算的注册服务文件拷贝数据库共享虚拟服务服务器集群和虚拟化专业服务导致服务器多样化更多任务由服务器承担服务器登场浏览器/服务器客户机/服务器服务器井喷…服务器托管服务器托管形成市场搜索服务器视频服务器安全服务器邮件服务器数据服务器互联网资源配置的变迁出现了基于云计算的空间信息服务互联网环境下空间信息从数据共享、信息共享走向服务共享

共享计算能力为主的服务共享存储能力为主的服务共享交互能力为主的服务依托互联网，随时随地获得个性化空间信息服务基于Internet的空间信息服务云计算使空间信息服务可在更大范围部署上海北京深圳云计算中心内部的生态链

互联网上大量计算资源和服务器井喷

如Google,Amazon,Hotmail…各自独立提供网络服务

基础设施服务商如AmazonWebservices搜索论坛邮件购物…聊天软件服务商如Googlemap和Apple服务平台服务商如和GoogleAPPEngine软件服务商如salesforce软件集成服务商如programmableweb知名软件服务商同时也可以成为其它SaaS供应商的基础平台云计算与服务技术MicrosoftAzureGoogleAppEngineAmazonEC2&S3基础设施作为服务(InfrastructureasaService(IaaS))平台作为服务(PlatformasaService(PaaS))软件作为服务(SoftwareasaService(SaaS)OpenRS-Cloud技术体系2)基于云计算平台的遥感图像处理系统OpenRSOpenRS-CloudWeb型的算法提交界面可直接获取和设定位于云端的算法插件的参数信息；可直接利用远程集群进行并行处理；集成WebGIS技术查找感兴趣遥感图像OpenRS-Cloud任务进度查看通过浏览器可直接查看任务的执行状况子任务的分解与合并子任务LOG实时输出子任务的运行进度OpenRS-Cloud处理结果展示可以直接在浏览器上查看处理结果，左图展示了EDISON边缘提取算法，右图为KMean分类OpenRS-Cloud通过WebService提供桌面级调用接口桌面程序直接利用OpenRS-Cloud的WebService接口实现并行镶嵌与纠正一个洪水淹没的计算实例分布式异构地球空间信息处理服务服务链建立服务链