景物恢复单图象ppt课件

1、章毓晋清华大学电子工程系 100084 北京图象工程（下）第2页第7讲第第8 8章景物恢复：单图象章景物恢复：单图象 单目单幅 2.4.3小节8.1从阴影恢复外形 8.2纹理与外表朝向 8.3由焦距确定深度 8.4根据三点透视估计位姿 第3页第7讲阴影：亮度的空间变化 外表亮度的空间变化 外表外形 8.1.1阴影与外形 8.1.2利用单目图象求解照度方程8.1从阴影恢复外形从阴影恢复外形 第4页第7讲层次的变化分布取决于4个要素： 物体正对察看者可见外表的几何外形 光源的入射强度和方向 察看者相对物体的方位和间隔 物体外表的反射特性 面元的法向矢量N 光源入射强度和方向矢量I 视野矢量V 外表

2、反射特性r 8.1.1阴影与外形 第5页第7讲沿N的反射强度 假设光源来自察看者背后且为平行光线，那么cosi = cose。再假设物体具有朗伯散射外表，即外表反射强度不因察看位置变化而变化，那么察看到的光线强度可写成 8.1.1阴影与外形 iyxIyxEcos),(),(eyxIyxEcos),(),(第6页第7讲把梯度坐标同样布置在XY平面上 N = p q 1TV = 0 0 1T 8.1.1阴影与外形 1(1 1 0 0 1 1 0 0 1 coscos22TTTTqpqpqpie11 ),( ),(22qpyxIyxE第7页第7讲普通情况i e 图象照度约束方程 8.1.1阴影与外形

3、 1 1) 1 ( 1 1 1 1 cos2222TTTTiiiiiiiiqpqpqqppqpqpqpqpi1 1) 1 ( ),(),(2222iiiiqpqpqqppyxIyxE),(),(qpRyxE第8页第7讲面元朝向变化而导致的图象灰度变化 一个3-D外表可表示为： z = f (x, y) 其上的面元法线可表示为：N = p q 1T。 可见3-D空间中的外表从 其取向来看只是2-D梯度 空间的一个点G( p, q) 8.1.1阴影与外形 第9页第7讲梯度空间法：了解由平面相交而构成的构造 两个平面S1和S2相交凸构造/凹构造交线l的投影l 与G1和G2间的连线垂直8.1.1阴影与

4、外形 第10页第7讲将两个平面和它们法线对应的梯度点都投影到重合的梯度坐标与空间坐标中S和G同号，凸构造 S和G异号，凹构造 8.1.1阴影与外形 第11页第7讲在图象上对一个单独点亮度的丈量只能提供一个约束，而外表的朝向有两个自在度1.线性情况8.1.2利用单目图象求解照度方程)(),(bqapfqpR),(1yxEfbqapsincos)(qpm第12页第7讲选一个特定的方向q0，这个方向上的斜率是从一个特定的图象点开场先取一个小步长ds，此时z的变化是dz = mds 8.1.2利用单目图象求解照度方程),(1)(122220yxEfbababqapm),(1dd122yxEfbasz第

5、13页第7讲先求在外表上一点(x0, y0, z0)处的解，将前面的微分方程对z积分得到：当反射图是梯度元素线性组合的函数时，特征曲线是平行直线 8.1.2利用单目图象求解照度方程ssyxEfbazsz 01220d),(1)(第14页第7讲2.旋转对称情况外表最速上升方向与x轴的夹角是qs，tanqs = p/q在最速上升方向上的斜率是取步长为 8.1.2利用单目图象求解照度方程)(),(22qpfqpR),(122yxEfqp ),()(122yxEfqpmssqp22syxEfsqpzsqyspx ),()(122第15页第7讲2.旋转对称情况为确定亮度梯度可将图象照度方程对x和y求导

6、在图象平面取步长(dx, dy)而带来的dp和dq的变化 8.1.2利用单目图象求解照度方程222222 yzwxyzvyxzxzuywxvqyvxup sqwpvqsqvpup)()( 和 2 2 22 fEq fEpqpzqypxyx第16页第7讲3.平滑约束的普通情况以为在物体轮廓内物体外表是光滑的 转变成最小化如下总误差问题 8.1.2利用单目图象求解照度方程02 2ypxpp02 2yqxqqxyqpqpRyxEyx )()(),(),(),(222pRqpRyxEppnnnnn )( )()()() 1( ),(),(1qRqpRyxEqqnnnnn )( )()()() 1( )

7、,(),(1第17页第7讲对纹理的描画主要根据构造法的思想：复杂的纹理是由一些简单的纹理基元也称纹理元texel以一定的有规律的方式反复陈列组合而成 8.2.1单目成象和畸变 8.2.2由纹理变化恢复朝向 8.2.3线段纹理消逝点确实定8.2纹理与外表朝向纹理与外表朝向 第18页第7讲直线的畸变3-D空间透射投影到2-D象平面上 一条直线是由其两端点及中间点组成的，所以一条直线的投影可根据点的投影来确定 空间两点直线两端点W1 = X1 Y1 Z1T，W2 = X2 Y2 Z2T，它们中间的点可表示为0 p 1 8.2.1单目成象和畸变 22211121)1 ( )1 (ZYXpZYXpppW

8、W第19页第7讲投影后8.2.1单目成象和畸变 2222111121)1 ( )1 (tkZkYkXptkZkYkXpppWWPT 21212121T)1 ( )1 ( )1 ( )1 ( tptpYpYptptpXpXpyxwT22112211T)1 ()1 (ZfYfqZfYfqZfXfqZfXfqyxw第20页第7讲 用p表示的投影结果就是用q表示的象点坐标 p 与q是单值关系，3-D空间中p表示的点在2-D象平面中对应一个且只需一个q 表示的点 3-D空间的一条直线投影到2-D象平面上后，只要不是垂直投影其结果仍是一条直线但长度可有变化 8.2.1单目成象和畸变 122)1 ( tqt

9、qtqp211)1 ( tptptpq第21页第7讲平行线的畸变一组平行线的(a, b, c)都一样，只是 (X0, Y0, Z0)不同直线向两端无限延伸时，k = (3.2.7)(3.2.8)8.2.1单目成象和畸变 cbakZYXZYX000coscossinsinsinsincoscbabafxcoscossinsinsinsincoscoscossincbacbafy第22页第7讲8.2.2由纹理变化恢复朝向 三种典型方法(a) 纹理元尺寸的变化 透视投影中：近大远小 尺寸变化率的极大值可以把纹理元所在平面的取向确定下来，这就是纹理梯度的方向 纹理梯度的方向取决于纹理元绕摄象机轴线旋转

10、的角度，而纹理梯度的数值给出纹理元相对视野倾斜的倾斜度 第23页第7讲三种典型方法(b) 纹理元外形的变化 纹理元外形在投影成象后有能够发生变化 知原始外形可推算出外表的朝向 由圆组成的纹理在倾斜的面上会变成椭圆，这时椭圆主轴的取向确定了相对于摄象机轴线旋转的角度，而长短轴长度的比值反映了相对视野倾斜的倾斜度 8.2.2由纹理变化恢复朝向 第24页第7讲三种典型方法(b) 纹理元外形的变化圆形纹理基元所在平面的方程为圆形可看作平面与球面的交线将球面投影到平面：椭圆8.2.2由纹理变化恢复朝向 0dczbyax2222rzyx222222222222222cdrcabxybdyadxyccbxc

11、ca第25页第7讲三种典型方法(c) 纹理元之间空间关系的变化 纹理由规律的纹理元栅格组成， 计算其消逝点来恢复外表朝向信息 利用从同一外表纹理元栅格得到的两个消逝点 就可以确定出外表的取向，此时衔接这两个点直线的方向指示纹理元相对于摄象机轴线旋转的角度，而这条连线与x = 0的交点指示了纹理元相对视野的倾斜角 8.2.2由纹理变化恢复朝向 第26页第7讲消逝点是相交线段集合中各线段的交点。对一个透射图，平面上的消逝点是无穷远处纹理元以一定方向投影到图象平面构成的，或者说是平行线在无穷远处的会聚点 8.2.2由纹理变化恢复朝向 第27页第7讲各向同性假设 在纹理平面发现一个纹理基元的概率与该纹

12、理基元的朝向无关 讨论摄象机的成象平面与纹理平面的相互朝向纹理平面的法线与视野 方向即z轴方向的 夹角称为倾斜角s，投影法线与摄象机坐标 系统y轴间的夹角称为俯仰角t 8.2.2由纹理变化恢复朝向 第28页第7讲各向同性假设 视角变换viewing transformation (1) 根据俯仰角旋转坐标系统(2) 根据倾斜角的余弦沿一个坐标轴紧缩 反视角变换inverse viewing transformation(1) 把图象上的纹理变成各向同性的纹理(2) 从该反视角变换中解出倾斜角和俯仰角 8.2.2由纹理变化恢复朝向 第29页第7讲均匀性假设 无论在图象中的任何位置选取一个窗口的纹

13、理， 那么它都与在其他位置所选取窗口的纹理一致 一个象素值的概率分布只取决于该象素邻域的性质而与象素本身的空间坐标无关 将用等间隔网格覆盖的纹理平面进展透射投影 一些网格会被映射成较大的四边形而另一些网格会被映射成较小的四边形。这也就是说，在图象平面上的纹理就不再均匀了 8.2.2由纹理变化恢复朝向 第30页第7讲外形畸变的情况主要与两个要素有关：察看者与物体之间的间隔，它影响纹理元畸变后的大小；物体外表的法线与视野之间的夹角也称外表倾角，它影响纹理元畸变后的外形 8.2.2由纹理变化恢复朝向 第31页第7讲纹理立体技术将纹理方法和立体视觉方法结合 8.2.2由纹理变化恢复朝向 第32页第7讲

14、纹理立体技术根据从两幅图象得到的特征线和特征角可确定外表法向量N = Nx Ny NzT： 8.2.2由纹理变化恢复朝向 )sincos(sin2232131aaNx)sincos(cos2232131aaNy)sincos(sin)sincos(cos22121112222211aaaaNz第33页第7讲图象空间中的直线可表示为变换x, y l, q将图象空间XY中的一条直线映射为参数空间LQ 中的一个点，而图象空间XY中具有一样消逝点(xv, yv)的直线集合被投影到参数空间LQ 中的一个圆上将 和q = arctany/x代入 8.2.3线段纹理消逝点确实定sincosyx22yx si

15、ncosvvyx第34页第7讲直角坐标系中这个圆是一切以(xv, yv)为消逝点的线段集合投影到LQ 空间中的轨迹 8.2.3线段纹理消逝点确实定2v2v2v2v2222yxyyxx第35页第7讲两个缺陷： 圆检测比直线困难，计算量也大； 当xv 或yv 时，有l 改用变换x, y k/l, q在无穷远的消逝点就可投影到原点，而且具有一样消逝点(xv, yv)的线段所对应的点在 ST空间的轨迹成了一条直线 8.2.3线段纹理消逝点确实定sincos/vvyxktysxkvv第36页第7讲空间ST里的直线在空间RW里为一个点哈夫变换消逝点的坐标为 8.2.3线段纹理消逝点确实定2v2v yxkr

16、vvarctan xywwrkx222vtan1 wrwky222vtan1tan 第37页第7讲 模糊圆盘的直径与摄像机分辨率和景深都有关系 假设成像单元的间距为D，单位是mm，那么摄像机的分辨力为0.5/D，单位是line/mm 8.3由焦距确定深度第38页第7讲薄透镜成像公式景物最近点 景物最远点 景深两个间隔之差 8.3由焦距确定深度io111ddii1dADAdooiio1)(DdADAddADAdADAdooiio2)(DdADAddADAdADAd22oooo1o2o)(2ADddADddddii1dADAd第39页第7讲知：点两两间间隔，3-D景物模型和摄像机焦距 计算：3-D景物的几何外形和位姿利用图像点的坐标 8.4根据三点透视估计位姿第40页第7讲三点透视问题perspective 3 points，P3P Wi的坐标 点间的间隔求解：关于ki的三个二次方程化成：三个偏微分线性方程迭代算法P.197P.198 8.