机器人传感器课件

机器人传感器第七章机器人传感器第一节机器人传感器功能与分类第二节机器人视觉传感器

1、人眼与视觉

2、机器人视觉方法

3、机器人图像处理技术

4、机器人立体视觉第三节机器人触觉传感器

1、接触觉传感器

2、压觉传感器

3、力觉传感器

4、滑觉传感器

5、仿生皮肤第四节机器人接近觉传感器

1、电磁式接近觉传感器

2、光电式接近觉传感器

3、超声波接近觉传感器第一节机器人传感器分类PrinciplesandApplicationsofNovelSensorsDepartmentofElectronicScienceandEngineering,NanjingUniversity机器人分类机器人传感器的特点传感器的信号获取与处理过程机器人传感器的分类第一节机器人传感器功能与分类机器人是由计算机控制的能模拟人的感觉、手工操纵和具有自动行走能力而又足以完成有效工作的装置。机器人分类：第一代机器人：进行程式化操作的机器，完成一系列预置动作。未采用传感器，不能适应外界环境的变化。第二代机器人：采用传感器，具有初步感觉和反馈控制能力，能进行识别、选取和判断。具有初步智能。第三代机器人：更高一级智能机器，“电脑化”是其重要标志。Robot是捷克语“奴工”的意思，捷克剧作家卡鲁·卡帕克1920年一部剧本中的“人物”，一种具有人类特征的机器。对敏感材料的柔性和功能有特定要求。机器人传感器的特点获取的信息实时地用于控制，用以决定机器人的行动。有别于其它种类的传感器，机器人传感器信息收集能力强：既能获取信息，又紧随环境状态进行大幅度变化。机器人传感器既包括传感器本身，也包含传感器的信号处理。它由获取信息和处理信息两部分有机地构成。传感器的信号获取与处理过程信号获取→信号处理→信号提取→数据解释等几个层次。并非所有传感器的信号处理都要经过这四个全过程。如视觉和高密度压觉传感器一般需经过③和④的的过程。位置、接近觉和压觉等传感器仅经过②过程。接触觉传感器多半是经过①过程。内部检测传感器传感器的分类：以机器人本身的坐标轴来确定其位置，用来感知运动学参数。通过内部检测传感器，机器人可以了解自己的工作状态，调整和控制自己按照一定的位置、速度、加速度、压力和轨迹等进行工作。外部检测传感器用于获取周围环境或者目标物状态特征的信息，是机器人与周围进行交互工作的信息通道。其功能是让机器人对环境有自校正和自适应能力，很好地执行工作。接近觉、视觉、听觉、嗅觉、味觉等传感器。机器人传感器的分类及应用PrinciplesandApplicationsofNovelSensorsDepartmentofElectronicScienceandEngineering,NanjingUniversity第二节机器人视觉传感器机器人视觉方法人眼与视觉机器人图像处理技术机器人立体视觉一、人眼与视觉人的80%以上的外界信息通过视觉所获取。对于机器人来说，视觉传感器也是最重要的传感器。人眼视觉是立体的，就是说能将视场中的物体区别出远近。第二节机器人视觉传感器1、人眼的结构眼球壁外层（角膜、巩膜）中层（虹膜、睫状体、脉络膜）内层（视网膜）屈光系统感光系统角膜晶状体房水睫状肌视网膜视神经视中枢黄斑单眼成像黄斑Maculalutea(直径约2mm)双眼注视无穷远的点，无穷远点与双目的夹角θ=0，无穷远的点经水晶体成的像都落在左右眼的黄斑处；=0天空远景，处于无穷远双眼成像视网膜上视觉最敏锐的部位视乳头(视盘)(直径约1．5mm)没有视细胞，在视野中是生理盲点人的双眼从不同的方位获取同一景物的信息，各自得到关于景物的二维图像，这左右两幅图像有着微小的区别，这种区别就叫做视差。人脑通过对左右两幅图像视差的分析和处理，可以得到关于景物的光亮度、形状、色彩、空间分布等等信息。双眼注视有限距离点B，B在视网膜上的像也落在左右眼的黄斑位置B1和Br。2、人眼的立体视觉B点相对于左右眼的两视线的夹角O1BOr称作视差角，用θb表示。为了观看物点B，眼睛将偏转一定量的会聚角φ。B相对于人眼的距离Zb为：

Zb=b/tgφ

A点的像分别为A1和Ar，设线视差分别为Δl、Δr。θb=2φ根据A点的线视差计算得：线视差是描述物点在空间中位置的重要参数，在机器人立体视觉中，视差也是一个十分重要的判定景物空间分布的因素之一。1、激光扫描法二、机器人视觉方法在OlenA’D中综合上式计算得tgα=x/Lf在AOlenM’中OM=(Z+Ll

)

×

tgα=x×(Z+Ll

)/Lf在AOlaserM中MOlaser=Z×ctgβOM+MOlaser=b另外A点的另外两个坐标值Z=(bLf–xLl)/(x+Lf

tgβ)X=x(btgβ+Ll

)/(xtgβ+Lf

)Y=y(btgβ+Ll

)/(xtgβ+Lf

)机械扫描装置把激光光束投向景物空间，按照一定的顺序对景物空间进行二维扫描，即可得到景物空间各点的距离信息。如果用扇形光束代替点光束，只需进行一维扫瞄，就能快速测定CCD图像画面内全部点的距离信息。2、立体摄影法物点A和B两视线的夹角O1AO2称作视差角：点A和B视差角的差值Δθab称作立体视差：Δθab=θa-θb

θa=2b/Za 2b——CCD摄像机光轴间的距离视差角的大小表征了物点的远近，图中：θa>θb，物点A较B近。立体视差Δθab的正负也能表征物点的远近。在CCD成像面上，物体的角视差实际上是以线视差来表现的。设坐标

A点的线视差ΔXaAl(Xal、Yal、Zal)Ar

(Xar、Yar、Zar

)Bl

(Xal、Yal、Zal)Br(Xar、Yar、Zar

)A、B两点的线视差ΔXa、ΔXb物点A和物点B之间的相对线视差ΔXab为由二维图像中的线视差和相对线视差，可以推算出空间物点的三维信息。三、机器人图像处理技术机器人图像第一步是初级处理，内容主要有：从灰度图中寻找图像边缘和分割图像通过图像的分割，机器人可以区分出所关心的特定的对象（即整个画面中的一部分图像）。为了识别特征物体，常用具有标准姿势的物体图像与所拍摄的物体图像相比较。同样出于对姿态调整的考虑，需要计算图像两个垂直的主惯性轴的方向。简单的图像分割方法有阈值处理和边缘检测两种。求取图像重心位置提取图像的两个垂直的主惯性轴视觉获取的任意姿态物体图像，需要进行姿态调整，其第一步就是计算出物体的重心点坐标。对图像的初级处理，可以识别物体的形状特征、区分出物体在背景中所处的的位置。具有图像初级处理能力的机器人往往能满足在工业应用中的要求。1、图像的分割算法根据适当的灰度阈值th

将图像的转变成二值化图像，便于图像分割。1）阈值处理法阈值的获得途径：二维图像函数f（x，y），假设其二值化之后的图像函数为：ft（x，y），则：1）由图像灰度分布概率，用最小二乘法准确计算2）实验法双峰值特性的图像物体背景1(1)2(2)——期望值——协方差假定其灰度分布服从正态分布，其概率密度函数联合概率密度：P1、P2为两个峰下面的面积，且：P1+P2

=1以阈值th分割图像thE1(th)E2(th)背景当物体的概率：物体当背景的概率：物体背景总误差概率：E(

th

)=P2E1

(th)+P1

E2(th

)p2(t)p1(t)关于

t

微分，取dE(t)

/dt

=0，得：P2p2

(th

)=P1p1(th)若P1=P2

，则最佳阈值

t为：将p2(t)

和

p1(t)

代入上式，得：Ath

2

+Bth+C=0A=σ12+σ22B=2(μ1σ22-μ2σ12)C=μ22σ12

-μ12σ22

+2σ12σ22

ln

(σ2P1/σ1P2)如果σ12

=σ22

=σ2

，则：th2）微分边缘检测法：2）微分边缘检测法：xxx2）微分边缘检测法：设图像f（x，y）原坐标（x，y）旋转θ角，新坐标为（x’，y’）两者的关系：

x=x'cosθ–y'sinθ

y=x'sinθ–y'cosθ图像函数

f（x，y）沿x、y和x’、y’方向的灰度变化率为：上式对θ微分，并令其为0梯度的大小灰度变化最陡的方向在数字图像中，用差分代替微分图像的梯度矢量的大小：图像的梯度矢量的方向：例如Sobel算子121000-1-2-1-101-202-101x方向y方向2、重心点及惯性矩计算图像灰度函数f(i，j)的重心坐标xc、ycm——象素最大列数

n——象素最大行数图像灰度值总和x(i)y(j)xc、ycf(i，j)图像的惯性矩Ix、Iy、Ixy图像的主惯性矩I’x、I’y、I’xy偏角φ：原坐标系和新坐标系的变换关系x2=[(x0

–xc

)cosφ

-(

y0–yc

)sinφ]+xcy2

=[(x0

–xc

)sinφ-(

y0–yc

)cosφ

]+yc比对图像原始图像图像调整StereovisionofMarsRoverStereoGraphicsdevelopedthespecial3-DglassescalledCrystalEyes

PrinciplesandApplicationsofNovelSensorsDepartmentofElectronicScienceandEngineering,NanjingUniversity第三节机器人触觉传感器接触觉传感器压觉传感器力觉传感器滑觉传感器仿生皮肤一、接触觉传感器第三节机器人触觉传感器机械人触觉可分为：接触觉、压觉、力觉、滑觉等几种。用来检测机器人的某些部位与外界物体接触与否，例如感受是否抓住零件，是否接触地面等。模拟开关A/D转换计算机_+_+_+_+阵列扫描电路二、压觉传感器用来检测机器人手指的握持面上承受的压力大小和分布。特点：小型轻便、响应快、阵列密度高、在线性好、可靠性高等。常用的敏感材料：导电橡胶或塑料、偏聚二氟乙烯薄膜（PVF2）、应变片阵列、磁弹性式压磁传感器阵列（如针式差动变压器、霍尔元件）、光电传感器阵列等。Vo=Vp

[(Cx-CR)/CF]=Vp(ΔC/CF)

三、力觉传感器腕力传感器发展趋势：用于感知机器人的指、肢和关节等在工作和运动中所受力的大小和方向，从而决定如何运动、采用什么姿势、以及推测对象物体的重量等。特点是感知多维的作用力。间接输出型腕力传感器将传感器本身设计的简单化，经过复杂的计算求出传递矩阵，使用时要经过矩阵运算才能提取出六个力分量。直接输出型腕力传感器传感器结构比较复杂，简单的计算就能提取六个分量，甚至可以直接得到六个分量。材料：铝筒式六自由度腕力传感器X、Y、Z方向：力——Fx、Fy、Fz

转矩——Mx、My、MzFx=K1（

Py++Py-

）Fy=K2（Px++Px-）Fz=K3（Qx++Qx-+Qy++Qy-）

Mx

=K4（Qy+-Qy-）My=K5（-Qx++Qx-）Mz=K6（Px+-Px--Py++Py-）K1、K2、K3、K4、K5、K6为比例系数，与各根梁所贴应变片的应变灵敏度有关。XYZ材料：铝挠性件十字梁式腕力传感器梁侧面贴应变片手臂尼龙球（易于伸缩）相对面上的两片应变片构成一组半桥，共8只应变计，输出参数fx1、fx3、fy1

、fy2、fy3、fy4、fz2、fz4X、Y、Z的力：Fx、Fy、Fz

力矩：Mx、My、Mz

：

Fx=-fx1

-fx3

Fy

=-fy1-fy2

-fy3-fy4

Fz=-fz2-fz4

Mx

=afz2+afz4

+bfy1-bfy3 My=-bfx1+bfz4

+bfz2–bfz4

Mx

=-afx1–afx3

–bfy2+bfy4

四、滑觉传感器用于机器人感知手指与物体接触面之间相对运动（滑动）的大小和方向，从而确定最佳大小的把握力，以保证既能握住物体不产生滑动，又不至于因用力过大而使物体发生变形或被损坏。四、仿生皮肤聚偏二氟乙烯（PVDF）触觉传感器PVDF薄膜与物体有相对滑移时，指纹或凸点变形，引起诱导振动，发生应力变化，产生电荷。表皮信号输出PVDF（厚几十微米）橡胶基底外壳触、滑、温觉传感器上层为两面镀银的整块PVDF，两面引出电极，可以获取温觉、触觉信号。橡胶基底下层PVDF隔热层加热层上层PVDF橡胶表层下层PVDF镀有条状电极，引线由导电胶粘接后引出，可以获取压觉和滑觉信号。上下两层PVDF之间，有电加热层和柔性隔热层，隔离成两个不同的物理测量空间。手爪表面开始接触物体时，接触阶跃性应力使PVDF产生电荷，呈现单方向脉冲信号特征。触觉VtVt物体相对于表层滑动时，摩擦力变化引起传感器表层的诱导振动，使PVDF产生交变信号。滑觉温觉：将上层PVDF保持在55℃左右，当与物体接触时，物体与表皮的温差形成热能传递，使PVDF极化面产生相应数量的电荷输出。Vt55℃压电效应产生的电荷是x、y、z三方向的轴向应力和切向应力产生电荷的总和，所以它能感觉出三维应力，从而判断触觉、滑觉的大小及应力区域。PVDF纤维丝(几十微米)高分子充水薄膜微球由于PVDF薄膜丝纤维束有强的热释电效应，环境温度的变化使极间产生电荷，从而产生了温觉。信号的检出与重构——PVDF微单元~放大器RiQ(t)漏电流i控制电路数据采集电路计算机A/D转换器上层PVDF下层PVDFMOSFET输入型高阻抗、低失调、低漂移高精度放大器云母电容复位开关使每次读值从同一起点开始PrinciplesandApplicationsofNovelSensorsDepartmentofElectronicScienceandEngineering,NanjingUniversity第四节机器人接近觉传感器电磁式接近觉传感器光电式接近觉传感器超声波接近觉传感器

第四节机器人接近觉传感器机械人接近觉是介于触觉和视觉之间的感觉，感应的距离范围一般为几毫米至几十毫米，用于感知一定距离内场景的状况。常见的接近觉传感器有电磁式、光电式、电容式、气动式、超声式、红外线、微波式等多种类型。一、电磁式接近觉传感器精度比较高、响应速度快、受环境影响小、结构简单、可以在高温下工作。物体（金属）检测线圈激励线圈检测线圈物体内产生流线闭合的感应电流（即涡流）。涡流大小与对象物的距离等有关。焊接机器人多半使用涡流传感器来跟踪焊接缝，在200℃下工作，距离0~8mm时，误差小于4%。涡流式用永久磁铁和紧贴磁铁的圆柱形线圈构成线圈永久磁铁外壳树脂磁铁式在远离物体时，永久磁铁的磁力线对称分布有导磁金属（钢或铁等）接近时，磁力线分布发生变化。用霍尔元件或集成磁敏传感器代替线圈，可感知近距离的静止物体的接近情况。这种接近觉传感器所能感知的距离很近，对于小于几分之一毫米的近距离运动物体十分灵敏。电流输出急剧变化呈非线性关系只能感知金属物体，无法感知非金属物体。二、光电式接近觉传感器物体表面特性特别是表面反射率等对灵敏度有