15-16车用传感器原理与应用2006秋机器视觉导论

1、车用传感器原理与应用Automotive Sensors Theory & Application张新丰zhangxinf汽车学院车辆工程: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang Xinfeng112/22/2016任课教师电子邮箱学院(系) 学科专业学科方向在最近几年，随着驾驶辅助系统、自动驾驶系统的研究兴起，图像传感器作为一种非常灵活的传感器被用于汽车上。汽车外部物探测有近程红外夜视，影像，360环绕视野，基于视觉图像的车道线、车辆及行人探测系统。为什么同时需要和作为汽车环境

2、感知传感器？: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg212/22/2016传感器的工作范围红外线光束的投射范围车辆近光灯的照射范围显示: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg312/22/2016: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang X

3、infenTg412/22/2016计算机视觉（Computer Vision）l 计算机视觉系统组成：相机（Camera，CCD，CMOS）：将图像转化为模拟/数字信号；计算机接口（Computer Interface）：将模拟信号数字化，将数字信号传递到图像处理器；图像处理器/图像处理软件：OpenCV，VXL，GIL，Clmg，VLFeat等。: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg512/22/2016例：基于红外图像的视觉增强与行人检测系统红外热敏图象摄像头，

4、 （夜视辅助系统控制单元都是系统供货商Autoliv供货）。在远距离红外区， 该摄像头的最大灵敏度为8m - 12m。该摄像头的图象是黑白图象，其分辨率水平为320像素，垂直为240像素，每秒20帧。: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg612/22/2016p 数字图像由像素（Pixel）的矩阵构成像素是构成位图的最小，位图的大小与精致，决于组成这幅图的像素数目的多少。由于像素的分布是沿水平和垂直两个方向矩阵式排列的，任何一个位图总是有一定数目的水平像素和垂直像 素

5、 。p 每个像素的值正比于该像 素点处的亮度（brightness）p 分辨率。分辨率的PPI(Pixels Per Inch)为用于表示位图图像内数据量多少的一个参数。: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg712/22/2016p 位图：位图图像是由像素构成的，适用于逼真或要求精细细节的图像，位图图像像间没有内在的，而且他们的分辨率是固定的，如果在屏幕上对它们进行缩放，或以低于创建时的分辨率来打印它们，将丢失其中的细节，并会出现锯齿状。p 矢量图：矢量图形是以数学的

6、向量方式来图形内容。矢量图最大的优点是文件小，放大或缩小时失真，缺点是不易制彩变化太多的图像。l 哪个是矢量图？哪个是位图？: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg812/22/2016: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg912/22/2016比较内容位图图像矢量图形特征能较好表现色彩浓度与层次可展示清晰线条或文字用途或复杂图像文字、商标等相

7、对规则的图形放大缩小的效果易失真不易失真制作3D影像不可以可以文件大小较大较小图像格式: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg1012/22/2016p 位深度:又称为颜色深度或像素深度，指用于表示每个像素颜色信息的二进制数位数，单位为“位/像素”。位深度的取值越大则图像可以使用的颜色的种类就越多，图像的颜色就更精确，色彩过度就更平滑。位深度的取值范围一般为1到32位/像素。对一张图片量化后的结果：: zhangxinf53车用传感器原理与应用Automotive Se

8、nsors Theory & Application张新丰Zhang XinfenTg1112/22/2016p 颜色模型/色彩模式RGB模型:是“Red” (红色)、“Green”(绿色)和“Blue”(种颜色。CMYK模型:指“Cyan”(青色)、“Magenta”(洋红)、“Yellow”(黄色)和“Black”(黑色)四种颜色+浓度。)三HSB模型:（H指“Hue”，即色相，S指“Saturation”，即饱和度，B指“Brightness”，即亮度）是依据人对颜色的视觉感受来描述颜色的，主要有色相、饱和度、亮度3种基本特性。L*a*b模型:由三个分量组成：L为亮度（或光亮度）

9、分量)，a为从绿色到红色的色度分量，b为从到黄色的色度分量。: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg1212/22/2016p 颜色模式/色彩模式位图模式：采用黑色或白色这两种颜色值中的一种去表示图像中的像素，因此只用一位二进制数就可以表示某个像素的颜色。灰度模式：最多可以使用256级灰度，灰度图像中的每个像素都有一个亮度值，取值范围从0到255。双色调模式：使用二至四种自定基础颜色创建双色调、三色调和四色调的灰度图像。索引颜色模式：当图像处于索引颜色模式时，系统会构建

10、一个颜色查找表，用来存放并索引图像中的颜色。、多通道模式：每个通道可以使用256级灰度。: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg1312/22/2016p 颜色模型/色彩模式RGB色彩模式CMYK色彩模式.m: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg1412/22/2016l 分辨率依次为512×512， 256×256，128

11、×128，64×64，32×32，16×16。: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg1512/22/2016分辨率高低对图片的影响：p 萨尔瓦多达利的画：加拉是达利的夫人。p “Gala contemplating the Mediterranean Sea, which at 20 meterses the portrait of AbrahamLincoln”: zhangxinf53车用传感器原理与应用Automotive

12、 Sensors Theory & Application张新丰Zhang XinfenTg1612/22/2016l 分辨率依次为512×512，灰度级依次为256 ，64，16，8，4，2。: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg1712/22/2016l 256×256，128级灰度；181 ×181，64级灰度；128 ×128，32级灰度；90×90，16级灰度；64 ×64，8级灰度；45

13、×45，4级灰度。: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg1812/22/2016l 传感器理论l 图像传感器：如何得到我们需要的测量参数（目标）?𝐸 = 𝑓 𝑖, 𝑗 灰度图像; 𝑖 = 1,2, 𝑀 𝑗 = 1,2, 𝑁 0, 2𝐵𝑓𝑖, 𝑗 彩色图像（RGB模式）

14、𝑅3𝑓𝑖, 𝑗: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg1912/22/2016: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg2012/22/2016基本图像处理：通过对图像像素点运算、像素组运算及其他运算（变换、统计等），获取图像中仅与像素数据相关的特征量。高级图像处理：在基本运算基础上，

15、完成图像情景分析、目标识别等任务。: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg2112/22/2016高级图像处理： 车道线/行人/车牌/识别 亮点/斑点检测 缺陷检测 疲劳识别 表情识别 基本图像处理： 图像缩放/翻转 空间谱变换/平移/旋转 灰度直方图/增强 图像锐化/柔化 边缘检测 图像分割.对采样后的图像进行空间变化处理：ì 平移 缩小 放大 水平镜像 垂直镜像 旋转í y ' = y + Dyîì x ' =

16、 x cosq - y sinqí y ' = x sinq + y cosqî: zhangxinf53车用传感器原理与应用张新丰22Automotive Sensors Theory & ApplicationZhang XinfenTg12/22/2016对采样后的图像进行处理：l 离散傅里叶变换Ø 一维离散傅里叶变换，将一维信号𝑃𝑥𝑭𝑃𝑈 (𝑢)(𝑥)变成一维谱信号𝟐𝜋𝑁ҷ

17、83;𝑗𝑥𝑥𝑁𝟏Ø 𝑭𝑃𝑈 =𝑃𝑥 𝑒𝑥=𝟎𝑁Ø 相应的一维反傅立叶变换𝟐𝜋𝑗𝑥𝑥𝑁𝟏Ø 𝑃𝑥 =𝑭𝑃𝑈 𝑒𝑁ү

18、09;=𝟎: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg2312/22/2016对采样后的图像进行处理：l 二维傅里叶变换Ø 对于图像这种二维的数据，我们引入二维傅里叶变换和反变换𝟐𝜋𝑁𝟏𝑁𝑗𝑥𝑥+𝑣𝑦𝑁𝟏 𝑁𝟏Ø

19、19917;𝑃𝑈,𝑉=𝑃𝑥,𝑦 𝑒𝑥=𝟎𝑦=𝟎𝟐𝜋𝑁𝑗𝑥𝑥+𝑣𝑦𝑁𝟏 𝑁𝟏Ø𝑃𝑥,𝑦=𝑭𝑃𝑈,𝑉 Ү

20、90;𝑥=𝟎𝑣=𝟎: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg2412/22/2016对采样后的图像进行变换/平移/旋转处理：l 二维傅里叶变换性质 平移Ø 移不变（shift invariance)，当图片平移的时候，傅立叶变换的“幅度”不发生改变𝑓 𝑡< 𝐹𝑗𝑗𝑒𝑗𝑗

21、;𝑗𝑓(𝑡 𝑇) < 𝐹𝑗𝑗: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg2512/22/2016对采样后的图像进行变换/平移/旋转处理：l 二维傅里叶变换性质 平移: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg2612/22/2016对采样

22、后的图像进行变换/平移/旋转处理：l 二维傅里叶变换性质 图像旋转: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg2712/22/2016对采样后的图像进行变换/平移/旋转处理：l 二维傅里叶变换性质 频率缩放Ø 如果图片缩小，频谱放大𝟏 𝑃𝜔𝜆Ø 𝑝𝜆𝑡=𝜆: zhangxinf53车用传感器原理与应用Automotive Sen

23、sors Theory & Application张新丰Zhang XinfenTg2812/22/2016对采样后的图像进行变换/平移/旋转处理：l 二维傅里叶变换性质 线性性Ø (𝑝1(𝑡)+𝑝2(𝑡)=𝑃1(𝜔)+ 𝑃2(𝜔): zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg2912/22/2016对采样后的图像进行处理：l 其他

24、频谱分析方法Ø 离散余弦变换DCT(Discrete cosine transform),因为其高压缩率被认为是最适合图像编码的，JPEG, MPEG: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg3012/22/2016对采样后的图像进行变换/平移/旋转处理：l 其他频谱分析方法Ø 离散余弦变换反变换: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang Xinf

25、enTg3112/22/2016对采样后的图像进行灰度处理：Ø 灰度图描述了图片亮度的变化，对比度描述图片亮度的范围: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg3212/22/2016对采样后的图像进行灰度处理：Ø 灰度图描述了图片亮度的变化，对比度描述图片亮度的范围: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg3312/22/2016

26、对采样后的图像进行灰度处理：Ø 灰度图描述了图片亮度的变化，对比度描述图片亮度的范围: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg3412/22/2016对采样后的图像进行灰度处理：Ø 灰度图描述了图片亮度的变化，对比度描述图片亮度的范围: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg3512/22/2016对采样后的图像进行灰度处理：&#

27、216; 灰度图描述了图片亮度的变化，对比度描述图片亮度的范围灰度直方图: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg3612/22/2016灰度图归一化normalization：Ø 原有灰度图被拉伸平移以覆盖全部灰度范围𝑁𝑚𝑚𝑚 𝑁𝑚𝑚𝑚Ø 𝑁=𝑂 𝑂+ 𝑁

28、19909;,𝑦𝑥,𝑦𝑚𝑚𝑚𝑚𝑚𝑚𝑂𝑚𝑚𝑚 𝑂𝒎𝒎𝒎𝑂 原图𝑁 新图: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg3712/22/2016灰度图归一化normalization

29、 ：Ø 产生尽可能平的灰度图: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg3812/22/2016对采样后的图像进行锐化/柔化处理：ØØØØ新的像素值由该像素周围的像素计算得出。Template: a set of weighting coefficients Template convolution: 图像和模板做卷积，𝑁=𝑗𝑂: zhangxinf53车用传感器原理与应用Au

30、tomotive Sensors Theory & Application张新丰Zhang XinfenTg3912/22/2016对采样后的图像进行锐化/柔化处理：1.平均算子: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg4012/22/2016对采样后的图像进行锐化/柔化处理：2. 高斯平均算子𝑚𝟐+𝑦𝟐𝟐𝜎𝟐𝟏Ø Ү

31、92;𝑥, 𝑦, 𝜎=𝑒𝟐𝜋𝜎𝟐: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg4112/22/2016低阶特征提取：不需要形状信息就能提取出来的特征: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg4212/22/2016低阶特征提取：

32、边缘检测Ø 边缘通过灰度的突变来检测相邻点差分Ø 𝐸𝑥𝑥,𝑦Ø 𝐸𝑦𝑥,𝑦竖直方向边界水平方向边界=𝑃𝑥,𝑦𝑃𝑥,𝑦 𝑃𝑥+𝟏,𝑦 𝑃𝑥,𝑦+𝟏Ø 𝐸𝑥,𝑦水平

33、和竖直方向边界=𝟐𝑃𝑥,𝑦 𝑃𝑥,𝑦+𝟏 𝑃𝑥+𝟏,𝑦: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg4312/22/2016低阶特征提取：边缘检测: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zh

34、ang XinfenTg4412/22/2016: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg4512/22/2016: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg4612/22/2016: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg471

35、2/22/2016: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg4812/22/20161. 边界表达：在分割过程中当确定了边界后，边界表达就是基于边界的像素点对目标的表示形式。(1) 链码：对边界的一种表示方法。Ø 链码是一种用若干条具有特定长度和方向的线段连接起来表示目标边界的方法。Ø 例如:312124005734-方向链码68-方向链码Ø 选边界上一点(用坐标表示) 作为起点，其它点用方向数来表示：A:6570713243: zhangx

36、inf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg4912/22/2016A(2)拓扑描述符：它们是一个不受变形影响的性质，例如：区域内孔数H区域内连通组元的个数C欧拉数E=C-HH=2C=1 E=-1(3)形状描述符：§ 形状参数：H=0C=2 E=2H=0C=1 E=1H=1C=1 E=02BB为边界周长A为区域面积F =4pA§ 偏心率(伸长度)：常用边界长轴(直径)长度与短轴长度的比值来表示。C = mR§ 圆形性：s R: zhangxinf53车用传感器

37、原理与应用张新丰Zhang XinfenTg50Automotive Sensors Theory & Application12/22/2016Bird: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg5112/22/2016: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg5212/22/2016600Comparing with other time

38、for a frame (320xOur algorithm：20ms CHEVP：500msCaltch：40msUC Berkeley：70ms500400300200100Our algorithm has low0Our algorithmCHEVP 160*120Caltech 320*240UC Berkeley: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg5312/22/2016Computing Time (ms)ClipsCorrectMisalignmen

39、tMisdetectionAccuracy#c184514600.9195#c290259870.8607#c3118766290.9259#c488045200.9312#t151618170.9365#t228113180.9006#t365435550.8790#t47571450.9755#t5723451170.8169Avg749.4434.3345.330.9039: zhangxinf53车用传感器原理与应用Automotive Sensors Theory & Application张新丰Zhang XinfenTg5412/22/2016Method A.全局模板方法：基于轮廓的分层匹配算法，构造了将近2500个轮 廓模板对行人进行匹配, 从而识别出行人。为了解决模板数量众多而引起的速度下降问题，采用了由粗到细的分层搜索策略以加快搜索速度。另外，匹配的时候通过计算模板与待检测窗口的距离变换来度量两者之间的相似性。: zhangxinf53