增强现实技术(第五章)37

1、第五章 三维注册与虚实融合 5.1 虚实融合原理 5.2 相机标定技术 5.3 图像的标识识别 5.4 虚实融合增强显示示案例：中联重科科增强现现实.mp4（128)5.1虚实融合合原理增强现实实系统必必须能够够实时地地检测出出观测者者(或摄像机机)相对于真真实场景景的位置和方向向角，以以及成像像系统(摄像机)的内部参参数(焦距和成像屏屏幕大小小等)。根据这些信信息实时确定所所要添加加的虚拟拟信息在投影系系统中的的大小、方向和和映射位置。在用户看来来，无论论从任何何角度观察，都都应该使使虚拟物物体与真真实场景景保持三三维欧氏氏空间的的几何一一致性。这就是AR中的三维注注册(Registrati

2、on)所要完成成的任务。5.1虚实融合合原理实现虚实实融合的的关键技技术，是是相机标定定与三维注册技技术，通过精精准的相机标定定与三维注册，使虚拟物体体可以与真实世界界进行无无缝融合。在真实世世界中人人为地设设定世界界坐标系系的原点点、X坐标、y坐标、Z坐标，并并测量出出多个标标志点的的三维坐坐标值。对摄像机机摄取的的图像进进行视觉觉识别，找到各各标志点点在图像像显示坐坐标系中中的二维维坐标值值。通过各个标标志点在在世界坐坐标系中中的三维维坐标值值和在显示坐标标系中的的二维坐坐标值，实时时计算出出摄像机机的焦距距、成像像屏幕大大小等内内部参数数、在世世界坐标标系中的的位置和和方向角角等外部部参

3、数。识别出通通过提取给给定的一一幅或多多幅图像像的特征征点来计计算摄像像机在真实世界的的相对位位置和方方向，根根据这些些信息实实时确定定系统中中要添加加的虚拟拟物体在在真实环环境中的的正确位位置。使用基于于计算机机视觉的的相机标标定技术术对标识识进行识识别，实实现系统统中的三三维注册册。三维注册册子模块以图图像检测测模块的的输出结结果为数数据的输输入，通通过相机机标定内部参数和外部参数的的算法，将程序序中所用用到标记记的三维维位置和姿态计算出出来。相机的外部部参数作作为输出出结果输输入到虚虚实融合子子模块，用DirectX或openGL中的虚拟拟相机模模拟真实实世界中中的相机机，产生生良好的的

4、虚实环环境无缝缝融合的的场景。将三维的虚虚拟动画画模型渲渲染到特特定的标标识物上上，实现现增强现现实的效效果。5.1虚实融合合原理根据实时计算算出摄像像机的焦焦距、成成像屏幕幕大小等等内部参参数、在在世界坐坐标系中中的位置置和方向向角等外外部参数设定虚虚拟相机机。通过虚拟拟相机对对三维虚虚拟场景景进行变变换。（1）将变换换后的虚虚拟场景景的影像像叠加到到实际场场景的影影像中，实现虚虚实融合合。将虚虚实融合合后的图图像通过过头盔或或投影机机显示出出来，观观察者看看到的是是虚实融融合后的的场景。（2）将三维的的虚拟动动画贴图渲染到真实世世界的标识物上上，实现现增强现现实的效效果。如：“别克汽车十十

5、城市巡巡展潘多多拉项目目.MOV”5.1虚实融合合原理第五章三维注册册与虚实实融合5.1虚实融合合原理5.2相机标定定技术5.3图像的标标识识别别5.4虚实融合合5.2相机标定定技术通过相机机标定技技术实时计算出出摄像机机的焦距距、成像像屏幕大大小等内内部参数数、在世世界坐标标系中的的位置和和方向角角等外部部参数。相机标定技技术与四四个坐标标系统有有关，分分别是世世界坐标系，成像像平面坐坐标系，相机坐坐标系和和图像显显示坐标标系。四个坐标标系的关关系世界坐标标系：选选择一个基基准坐标标系来描描述摄像像机安放放在现实实世界的的位置，并用它描述世界界环境中中任何物物体的位位置，由基准准观测原点点和

6、X轴、Y轴、Z轴组成。成像平面坐坐标系：相机的的焦点为为坐标系系的原点点o1，成像平平面的中中轴为x1、y1轴。相机坐标系：o点是摄像机(camera)的光心，x轴和y轴与成像坐坐标系x1、y1轴平行，z轴为摄像机机的光轴轴，与成像平面垂直直。由o点、x、y、z轴组成的直直角坐标系称为为摄像机机坐标系。图像显示示坐标系：显示在计计算机屏屏幕上的的图像坐坐标u、v，左上角角为坐标标原点。u、v分别与x1、y1轴平行。四个坐标标系的关关系世界坐标标系与摄摄像机坐坐标系的的关系R为旋转矩矩阵，表表示两个个坐标系系各坐标标轴之间旋旋转向量量，t是平移向向量，也是世界坐坐标系原原点在相相机坐标标系中的的

7、坐标值x=r11X+r12Y+r13Z+t1y=r21X+r22Y+r23Z+t2z=r31X+r32Y+r33Z+t1R=t=成像平面面坐标系系与摄像像机坐标标系的关关系上式用齐齐次方程程表示：三角形OO1P1和OO2P相似：f/z=O1P1/O2P2=x1/x=y1/y 成像平面面坐标系系与图像像显示坐坐标系的的关系上式用齐齐次方程程表示：O1为成像平平面坐标原点，是摄像机光光轴与图图像平面面的交点dx和dy表示一个像像素在x1轴与y1轴方向上的的大小。u=v=综合以上上三个关关系式，得sx=1/dxsx为水平方向上上的图像像尺度因因子sy=1/dysy为垂直方向上上的图像像尺度因因子P称

8、为投影影矩阵，含有五个未未知数，反映映相机的的内部参参数：f，即相机机的焦距距，单位位是毫米米，Sx即水平方方向上的的图像尺尺度因子子，单位是像像素/毫米Sy即垂直方方向上的的图像尺尺度因子子，单位是像像素/毫米(u。，v。)表示图像像屏幕中中心点像像素所处处的行数数和列数数。D称为旋转转平移矩矩阵，六个未知数，反映相机机的外部参数：R含有的三三个旋转转角t含有的世界坐标系系原点在相机坐标系系中的坐坐标值四个坐标标系的关关系当相机选选定后，内部参参数不变变。当相机的的位置和和角度固固定后，外部参参数不变变。根据若干已已知二维维点与其其对应三三维点的的坐标值值，求解P矩阵和D矩阵中含含有的11个

9、未知数，从而确确定摄像像机的内部参参数和外外部参数数。相机参数数的求取取上述含有有P、D的矩阵关关系可以以改写为为：相机参数数的求取取写成方程程式：将第3式代入1、2式：相机参数数的求取取由一个已已知的二二维点的的坐标与与其对应应的三维维点的坐坐标，我我们可以获得两个方方程，由由于方程程中有12个未知数，我们至至少要知知道6组这样的点。当选择多多于6个特征点点时，就就会有多多组解。这些解解有一定定误差，但应该该误差不不大对每个求求得的系系数算均均值，再再用各系系数误差差的平方方和最小小的一组组解作为为最佳的的一组解解。相机参数数的求取取第五章三维注册册与虚实实融合5.1虚实融合合原理5.2相机

10、标定定技术5.3图像的标标识识别别5.4虚实融合合在增强现现实系统统中，经经过图像像分割、边缘检检测和轮轮廓提取取之后，我们就就可以把以上步骤骤的结果果用于标标识识别别子模块根据模式匹匹配算法法，使系系统从摄摄像机的视频图图像中正正确的识识别出预预先设计计好的标识，同时给出标识的的ID号码，作为系统中中图形显显示子模模块输入入参数的的一部分分，以使使得图形形显示子子模块将将预先设计好的三维维模型正正确的显示在在特定的标标记上，实现对对真实环环境的增增强。标识分为为两类，一类是是人工设设定好的的标识，一类是是场景中中自然具具备的。人工设定定好的标标识一般由具有有一定宽宽度的黑黑色封闭闭的矩形框和

11、内部部的各种种图形或或文字两两部分构构成。5.3图像的标标识识别别对于人工设定好好的标识通过对视频频中的每每一帧图像运用图图像分割割、边缘缘提取、连通区区域检测测、轮廓廓提取等等过程判判断视频频图像中是否含有封封闭的黑黑色矩形形框。匹配连通区区域中的的四边形形结构，记录视视频图像中所有标识所所在区域和和坐标。分别提取各各个标识四四边形的边边缘像素素坐标，找出四边形标识四四个顶点坐坐标，计计算出标识边边缘的直线线方程(屏幕坐标标)。由于系统统中使用用的标识记记是事先先设计的有规规则的标识，所以能够够快速获获得检测结果。5.3图像的标标识识别别对于人工设定好好的标识标识所代表的具具体信息息用标识内

12、内部的图形形或文字字表示，如表示示何种目目标或在此应显示示何种虚虚拟物体体。具体的标识内内部图像可可以根据据需要手手动选择择任意的的图像作为标识识物，可可以通过过几种图图元的组组合自动动生成工工程中所所需要标识。进行模板板匹配，来实现现标识识识别。在做标识识匹配前前，需要要进行图图像正规化化。5.3图像的标标识识别别图像正规规化系统中采采集图像像的摄像像头在采采集图像像的时候候处于随随机的位位置，即从任何角角度任何何位置拍拍摄都可可以，那那么，摄摄像头镜镜面不一一定与标标识物的的平面是平行的，摄摄像头的的光轴也也并不一一定是垂垂直于标标识物。所以采集到到的图像像也是不不规则的，标识识物的外外轮

13、廓发发生了一一定的变变形，这这些变形形包括平平移、旋旋转、缩缩放仿射变形等。为了用预先先制作的的模版和和图像进进行匹配配，从而而识别标标识物的的ID号码，需要对图像像进行几几何变换换，使图图像正规规化5.3图像的标标识识别别图像正规规化将从摄像头头获取的的标识图图像转变为摄像像头和图图像是正正对着的的，摄像像头的光光心垂直直于标识识物时拍拍摄的视视频图像。一般情情况下，由于由由摄像机机引起的的这种图图像变换换是仿射射变换。通常情况下下，这种变换是是线性的的，即能能够保持持线段的的直线性性、距离离化、平平行性不不变。在在图像线性变形的假假设条件件下，变变形图像像点的坐坐标(X,Y)与原图像上上点

14、的坐坐标(x,y)之间的关系是:5.3图像的标标识识别别其中，C为3*3的矩阵，这个矩矩阵的第第三列对对平面图图像没有有影响，所以只只要确定了变形形图像上上的3个点以及及在没有有变形图图像上与与它们对对应的3个点的坐坐标，就可以代入入方程组组，求出出方程中中的六个个未知数数。也就就是求得得了变形形图像和和未变形图像之间的的对应关关系。5.3图像的标标识识别别模板匹配配图像匹配配技术是是数字图图像处理理领域的的一项重重要研究究。根据已知模模式(模板图)，到另一幅图图中搜索索相匹配配的子图图像的过过程，称称为模板板匹配。模板就是一一幅已知知的小图像，具具体地说说模板匹匹配的过过程是在在一幅大大图像

15、中中搜寻目目标，己己知该图图中有要找的目标，通过一一定的算算法可以以在图中中找到目目标，确确定其坐坐标位置置。图像的模板匹配配技术可可以分成成直接基基于灰度度值的方方法以及及基于特特征提取取的方法法两大类。5.3图像的标标识识别别一幅图像与与另一幅幅图像接接近的程程度需要要一个尺尺度来描描述，在在数学上上常用向向量的范数做为为一个尺尺度。假设输入图图像为M，已知图图像为T，它们之之间的相相似度可可以用下式衡量：其中，d是一个距距离标量量，表示示两个向向量之间间的距离离。通过过在图像像中寻找找使d值最小的的区域，确定被被寻找的的图像T在输入图图像中的的位置等等信息。为了防防止出现匹配错误误的情况

16、况，一般般会在应应用中设设置一个个阀值，当d小于某个个阀值时时，认为两幅图像有有一定可可比的相相似度，当d大于某个个阀值时时，认为为两幅图图像不具具有可比的相似度，不参与与d值的比较。5.3图像的标标识识别别由于在拍拍摄图像像的时候候，会因因为光照照强度不不同，获获取的图图像在灰灰度级的的分布上会不同，这种情情况使得得两张原原本形状状相似的的图像被被检测为为不相似似。为了了避免这种情况，实实际应用用中使用用两个向向量的夹夹角这个个标准来来衡量两两个图像像的相似似度，公式如下:系统中采用用标准相相似度来来进行模模版匹配配。所采采用的特特征是图图像的标标识物区区域的面积比几几何特征征。面积积比计算

17、算比较简简单，实实时性好好;同时在图图像进行行线性变变换的过程中面积积比特征征不会改改变。在在对系统统的标识识物事先先设定好好的情况况下会有有较高的精度。5.3图像的标标识识别别第五章三维注册册与虚实实融合5.1虚实融合合原理5.2相机标定定技术5.3图像的标标识识别别5.4虚实融合合5.4虚实融合合对虚拟的的三维物物体进行行投影变变换等三三维注册册操作后后，其大大小、朝朝向、位位置等都都与实际际场景匹匹配。直接将变换后的的虚拟场场景的影影像叠加加到实际际场景的的影像中中，实现现虚实融融合，或者者将三维的虚虚拟动画画贴图渲渲染到真真实世界界的标识识物上，实现增增强现实实的效果，都没没有大的的问

18、题。为了取得得更好的的效果，虚实融合模模块除完成前景和和虚景融融合外，还还要进行行遮挡处理、边缘融融合等工工作。虚实融合模模块还要将光照、阴影、前景色色彩增强强等视觉觉效果根根据环境境的需要要和真实实世界的的场景加加入到系系统中，使得增增强现实实系统中中的场景景更加逼逼真。5.4虚实融合合在系统中，为了达达到逼真的虚实融融合的效效果，正正确显示示虚拟物物体和真真实物体体的遮挡挡关系，需要将将深度检测模块的输输出结果传入虚实结结合子模模快，虚虚实结合合子模块块根据真真实场景中的物体与与虚拟物物体的遮遮挡关系系进行虚虚拟场景景与真实实场景的的无缝融融合。虚实融合合模块处处理虚拟拟物体与与真实物物体之间间的遮挡挡关系的的具体步步骤如下下:5.4虚实融合合如果物体体在监控控区域，将物体体的深度度信息和和监控区区域中虚虚拟物体体的深度度信息进行比较。如果真实场场景中物物体的深深度大于于虚拟投投影三维维模型的的深度信信息，从固定摄像机机的视角角看，真真实场景景中的物物体与虚虚拟物体体的空间间位置关关系是真真实场景的物体体在后，虚拟物物体在前前，那么么就直接接将三维维虚拟的的模型投投影在标标记物上。如果真实场场景中物物体的深深度小于于虚拟投投影的三三维模型型的深度度信息，真实场景的的物体在在前，虚虚拟物体体在后，那么就就将三维维虚拟的的模型投投影在标标记物上之后，将高