增强现实技术之基于视觉的增强现实系统培训讲义

第二章基于视觉增强现实系统框架2.1系统框架2.2系统模块介绍2.3图像采集与处理模块2.4三维模型绘制模块

2.5标识识别模块2.6三维注册模块2.7深度检测模块2.8虚实融合模块2.9动作交互模块增强现实技术之基于视觉的增强现实系统培训讲义第1页2.1系统框架

增强现实技术之基于视觉的增强现实系统培训讲义第2页2.2系统模块介绍

系统由9个主要子模块组成：图像采集子模块数字图像处理子模块注册定位子模块标识识别子模块，深度检测子模块图形渲染子模块用户交互子模块虚实融合子模块多媒体控制子模块增强现实技术之基于视觉的增强现实系统培训讲义第3页2.2系统模块介绍图像采集子模块从图像输入设备中采集视频流，从视频流中获取视频图像。数字图像处理子模块为三维注册子模块和虚实结合子模块提供非常主要基础数据。它详细功效是经过图像分割，边缘检测等图像处理方法对采集图像进行处理，从工作环境背景中识别出预先在环境中设置用于定位标志。标识识别子模块依据模式匹配算法，使系统从摄像机视频图像中正确识别出预先设计好标识物，同时给出标识物ID号码，作为系统中图形显示子模块输入参数一部分，以使得图形显示子模块将预先设计好三维模型正确显示在特定位置上。增强现实技术之基于视觉的增强现实系统培训讲义第4页2.2系统模块介绍注册定标子模块以图像检测模块输出结果为数据输入，经过相机标定内部参数算法和相机标定外部参数算法，将程序中所用到标识三维位置和姿态计算出来，最终相机外部参数作为输出结果输入到虚实结合子模块，用openGL等软件中虚拟相机模拟真实世界中相机，产生良好虚实环境无缝融合场景。深度检测子模块检测特定空间点深度信息。为了判断系统中渲染虚拟物体与真实环境中物体遮挡关系，系统中需要计算虚拟物体与真实场景中物体深度信息，经过比较它们深度信息，确定虚拟物体与真实场景中物体遮挡关系，实现系统中真实场景与虚拟物体遮挡一致性，同时经过检测真实场景中用户手势等交互动作，完成用户与场景中虚拟物体自然交互。增强现实技术之基于视觉的增强现实系统培训讲义第5页2.2系统模块介绍图形绘制子模块实现对虚拟三维模型实时动态渲染。虚实融合模块主要完成前景和虚景融合、遮挡处理、边缘融合等工作。额外视觉效果，如光照、前景色彩增加等也在模块中实现。为了到达逼真虚实融合效果，正确显示虚拟物体和真实物体遮挡关系，需要将深度检测模块输出结果作为输入传入虚实结合子模快，虚实结合子模块依据真实场景中物体与虚拟物体遮挡关系进行虚拟场景与真实场景无缝融合。用户交互子模块为用户提供两种与虚拟三维模型进行直接交互方式。多媒体控制模块模拟系统环境中产生各种各样声音元素，同时把视频文件播放出来。增强现实技术之基于视觉的增强现实系统培训讲义第6页2.3图像采集与处理模块图像采集模块主要功效是从图像输入设备中采集视频流，从视频流中获取视频图像。增强现实系统图像采集应该满足实时性、准确性要求。当前性能较高CCD摄像头都能够满足系统对图像精度和获取速度要求。微软DirectX开发包中Direetshow模块，是微软企业公布在Windows环境下运行一个流媒体处理体系，是DirectX组成部分之一。Directshow支持很各种多媒体格式，包含惯用ASF，MPEG，AVI，MP3，WAV等。当系统安装有硬件加速设备时候，Directshow能够自动检测并使用硬件加速设备。一样，它也支持没有硬件加速设备系统。增强现实技术之基于视觉的增强现实系统培训讲义第7页2.3图像采集与处理模块增强现实技术之基于视觉的增强现实系统培训讲义第8页2.3图像采集与处理模块在基于计算机视觉系统工程中，数字图像处理子模块为三维注册子模块和虚实结合子模块提供非常主要基础数据。它详细功效是经过图像分割、边缘检测等图像处理方法对采集图像进行处理，从工作环境背景中识别出预先在环境中设置用于定位标志。数字图像处理子模块性能优劣直接影响系统在三维注册阶段实时性和虚拟结合模块中无缝融合准确性。数字图像处理子模块三个主要过程是图像预处理与图像分割，边缘检测和提取系统感兴趣特征点。增强现实技术之基于视觉的增强现实系统培训讲义第9页2.3图像采集与处理模块详细实现在第三章详细介绍增强现实技术之基于视觉的增强现实系统培训讲义第10页2.4三维模型绘制模块能够用DirectX、游戏引擎中绘制三维模型语句和渲染语句来绘制三维模型，但所绘制模型相对简单。用3DsMAX、Maya来绘制三维模型，然后导出到增强现实程序开发环境。三维模型运动控制由增强现实程序开发环境中程序实现，但人物运动序列等看能够在3DsMAX、Maya中建好后导出。模型复制能够用程序实现。详细绘制方法在第四章中详细介绍增强现实技术之基于视觉的增强现实系统培训讲义第11页2.5标识识别模块在增强现实系统中，经过图像分割、边缘检测和轮廓提取之后，我们就能够把以上步骤结果用于标识识别子模块依据模式匹配算法，使系统从摄像机视频图像中正确识别出预先设计好标识，同时给出标识ID号码，作为系统中图形显示子模块输入参数一部分，以使得图形显示子模块将预先设计好三维模型正确显示在特定标识上，实现对真实环境增强。标识分为两类，一类是人工设定好标识，一类是场景中自然具备。人工设定好标识普通由含有一定宽度黑色封闭矩形框和内部各种图形或文字两部分组成。增强现实技术之基于视觉的增强现实系统培训讲义第12页2.5标识识别模块对于人工设定好标识经过对视频中每一帧图像运用图像分割、边缘提取、连通区域检测、轮廓提取等过程判断视频图像中是否含有封闭黑色矩形框。匹配连通区域中四边形结构，记录视频图像中全部标识所在区域和坐标。分别提取各个标识四边形边缘像素坐标，找出四边形标识四个顶点坐标，计算出标识边缘直线方程(屏幕坐标)。由于系统中使用标识记是事先设计有规则标识，所以能够快速获得检测结果。增强现实技术之基于视觉的增强现实系统培训讲义第13页2.5标识识别模块对于人工设定好标识标识所代表详细信息用标识内部图形或文字表示，如表示何种目标或在此应显示何种虚拟物体。具体标识内部图像能够依据需要手动选择任意图像作为标识物，能够经过几个图元组合自动生成工程中所需要标识。进行模板匹配，来实现标识识别。在做标识匹配前，需要进行图像正规化。增强现实技术之基于视觉的增强现实系统培训讲义第14页2.5标识识别模块图像正规化系统中采集图像摄像头在采集图像时候处于随机位置，即从任何角度任何位置拍摄都能够，那么，摄像头镜面不一定与标识物平面是平行，摄像头光轴也并不一定是垂直于标识物。所以采集到图像也是不规则，标识物外轮廓发生了一定变形，这些变形包含平移、旋转、缩放仿射变形等。为了用预先制作模版和图像进行匹配，从而识别标识物ID号码，需要对图像进行几何变换，使图像正规化增强现实技术之基于视觉的增强现实系统培训讲义第15页2.5标识识别模块图像正规化将从摄像头获取标识图像转变为摄像头和图像是正对着，摄像头光心垂直于标识物时拍摄视频图像。普通情况下，因为由摄像机引发这种图像变换是仿射变换。通常情况下，这种变换是线性，即能够保持线段直线性、距离化、平行性不变。在图像线性变形假设条件下，变形图像点坐标(X,Y)与原图像上点坐标(x,y)之间关系是:增强现实技术之基于视觉的增强现实系统培训讲义第16页2.5标识识别模块其中，C为3*3矩阵，这个矩阵第三列对平面图像没有影响，所以只要确定了变形图像上3个点以及在没有变形图像上与它们对应3个点坐标，就能够代入方程组，求出方程中六个未知数。也就是求得了变形图像和未变形图像之间对应关系。增强现实技术之基于视觉的增强现实系统培训讲义第17页2.5标识识别模块模板匹配图像匹配技术是数字图像处理领域一项主要研究。依据已知模式(模板图)，到另一幅图中搜索相匹配子图像过程，称为模板匹配。模板就是一幅已知小图像，详细地说模板匹配过程是在一幅大图像中搜寻目标，己知该图中有要找目标，经过一定算法能够在图中找到目标，确定其坐标位置。图像模板匹配技术能够分成直接基于灰度值方法以及基于特征提取方法两大类。增强现实技术之基于视觉的增强现实系统培训讲义第18页2.5标识识别模块一幅图像与另一幅图像靠近程度需要一个尺度来描述，在数学上惯用向量范数做为一个尺度。假设输入图像为M，已知图像为T，它们之间相同度能够用下式衡量：其中，d是一个距离标量，表示两个向量之间距离。经过在图像中寻找使d值最小区域，确定被寻找图像T在输入图像中位置等信息。为了预防出现匹配错误情况，普通会在应用中设置一个阀值，当d小于某个阀值时，认为两幅图像有一定可比相同度，当d大于某个阀值时，认为两幅图像不含有可比相同度，不参加d值比较。增强现实技术之基于视觉的增强现实系统培训讲义第19页2.5标识识别模块因为在拍摄图像时候，会因为光照强度不一样，获取图像在灰度级分布上会不一样，这种情况使得两张原本形状相同图像被检测为不相同。为了防止这种情况，实际应用中使用两个向量夹角这个标准来衡量两个图像相同度，公式以下:系统中采取标准相同度来进行模版匹配。所采取特征是图像标识物区域面积比几何特征。面积比计算比较简单，实时性好;同时在图像进行线性变换过程中面积比特征不会改变。在对系统标识物事先设定好情况下会有较高精度。增强现实技术之基于视觉的增强现实系统培训讲义第20页2.6三维注册模块增强现实系统必须能够实时地检测出观察者(或摄像机)相对于真实场景位置和方向角，以及成像系统(摄像机)内部参数(焦距和像元高宽比等)依据这些信息来实时确定所要添加虚拟信息在真实空间中映射位置，并将这些信息实时显示在图象中正确位置。在用户看来，不论从任何角度观察，都应该使虚拟物体与真实场景保持三维欧氏空间几何一致性。这就是AR中虚实注册(Registration)所要完成任务。增强现实技术之基于视觉的增强现实系统培训讲义第21页2.6三维注册模块三维注册子模块以图像检测模块输出结果为数据输入，经过相机标定内部参数算法和相机标定外部参数算法，将程序中所用到标识三维位置和姿态计算出来。相机外部参数作为输出结果输入到虚实融合子模块，用DirectX或openGL中虚拟相机模拟真实世界中相机，产生良好虚实环境无缝融合场景。将三维虚拟动画模型渲染到特定标识物上，实现增强现实效果。该模块详细设计和详细算法在第五章有详细讨论。增强现实技术之基于视觉的增强现实系统培训讲义第22页2.7深度检测模块为了判断系统中渲染虚拟物体与真实环境中物体遮挡关系，系统中需要计算虚拟物体与真实场景中物体深度信息，经过比较它们深度信息，确定虚拟物体与真实场景中物体遮挡关系，实现系统中真实场景与虚拟物体遮挡一致性由计算机视觉相机标定技术能够知道，一幅图像中一个点确定空间中一条直线与这个点相对应，为了在系统中求取图像上一点深度信息，需要两幅图像或多幅图像。计算一个点在多幅图像上深度信息直线方程，然后联方程，用最小二乘法计算出图像点深度信息。增强现实技术之基于视觉的增强现实系统培训讲义第23页2.7深度检测模块深度检测模块流程图增强现实技术之基于视觉的增强现实系统培训讲义第24页2.8虚实融合模块虚实融合模块主要完成前景和虚景融合、遮挡处理、边缘融合等工作。额外视觉效果，如光照、前景色彩增加等也在模块中实现。在系统中，为了到达逼真虚实融合效果，正确显示虚拟物体和真实物体遮挡关系，需要将深度检测模块输出结果作为输入传入虚实结合子模快，虚实结合子模块依据真实场景中物体与虚拟物体遮挡关系进行虚拟场景与真实场景无缝融合。虚实融合模块处理虚拟物体与真实物体之间遮挡关系详细步骤以下:增强现实技术之基于视觉的增强现实系统培训讲义第25页2.8虚实融合模块假如物体在监控区域，将物体深度信息和监控区域中虚拟物体深度信息进行比较。假如真实场景中物体深度大于虚拟投影三维模型深度信息，从固定摄像机视角看，真实场景中物体与虚拟物体空间位置关系是真实场景物体在后，虚拟物体在前，那么就直接将三维虚拟模型投影在标识物上。假如真实场景中物体深度小于虚拟投影三维模型深度信息，真实场景物体在前，虚拟物体在后，那么就将三维虚拟模型投影在标识物上之后，将高斯抠图得到真实物体图像渲染到虚拟三维模型之上，显示真实物体与虚拟物体遮挡关系。增强现实技术之基于视觉的增强现实系统培训讲义第26页2.8虚实融合模块虚实融合模块要将光照、阴影、前景