三维带电空间警示系统使用说明书天智系统

1、wmw$kyw1$e$ystai3 com深圳市天智来统技术有阴公司三维带电空间警示系统使 用 说 明 书深圳市天智来统技术有限公司目录1概述3主要用途及适用范围31.2系统主要特点32结构特征与工作原理32.1结构特征32.2系统工作原理42.3系统的功能模块以及工作流程63系统软硕件环境74系统的安装与调试74.1设备基础、安装条件以及安装的技术要求74.2调试软件系统115软件系统的使用和操作12深圳市天智来统技术有限公司1概述11主要用途及适用范围三维安全带电空间安全警示系统（以下简称系统）利用双fi摄像头进行三维测 距。变电站施工过程中，待维修设备周围设备仍然带电，本系统主要用于监控

2、周 围设备带电的立体空间内的相关施工设备和人员。当相关施工设备和人员距离带 电平面的距离小于安全距离时，系统发出报警声音进行报警，提醒相关人员注意 施工安全。系统主要通过双口摄像机对立体空间进行监控，至少使用两组摄像机交叉放 置对立体空间进行监控。由于光照对于图像采集影响较人，故进行监控时因尽量 避免双目摄像机正对强光源和在夜晚使用该系统。系统最佳测量范围在三到八 米。1.2系统主要特点其特征在于将两组双目摄像头放置于立体监控区域的相交平面外，对立体空 间内外物体进行实施监控，当物体距离立体平面的距离小于安全警戒距离时报 警，并且根据距离远近发岀不同的报警声，以体现危险程度。该系统主要有图像

3、采集设备，信息处理模块组成，其中信息处理模块有平面靶标标定模块，立体匹配 模块，深度计算模块、仰角计算模块、坐标转换模块和带电立体平面划定和报警 模块组成。2结构特征与工作原理2.1结构特征系统主要包括两部分，分别为数据采集部分以及数据处理部分。数据采集部 分主要为双目摄像头。利用双目摄像头读取警戒区域的场景信息，并将之传至后深圳市天智来统技术有限公司台处理。如图1所示。图1双目摄像头检测警戒区域示意图数据处理部分为系统处理软件。保存摄像头采集数据，进行双目矫正，计算 视差图，然后判断作业设备是否进入危险区域。2.2系统工作原理b图2理论原理图如图2所示的理想状况下，假定左右摄像机的投影中心o

4、l和or在同一水平 线上，且成像无畸变，左右图像行严格对准。空间一点p(x,y,z)在左右相机的 成像点分别为a和b。投影中心ol和orz间的距离为b, p到两个相机的投影 中心的距离为z。点a相对于左摄像机的成像平面中心o的横坐标值为xl，点 b相对于右摄像机的成像平面中心q的横坐标值为xr。则根据三角形相似原理 三角形pab和似于三角形polor,则有ab _ z_/ _ "十十_+兀/?( 1)oqr _ z 一 h - b深圳市天智来统技术有限公司由公式推出深度的计算公式为bfxxr其中disparity=xl-xr即为视差。同理可以求出p点的xy空间坐标。bxdispari

5、tydisparity其中xi和yi为物体在左摄像机成像平面中相对于成像中心点的坐标值。左右图像进行半全局立体匹配。完整的匹配算法应该包括：第一步：匹配代价计算；第二步：代价聚合；第三步：视差计算和优化；第四步：视差精提取。匹配代价的计算：匹配代价计算是指在一幅图像中的某一点对应于另一幅 图像一点的代价。通常匹配代价有绝对灰度值差ad(absolute intensity differences),灰度值差值平方 sd(squared intensity differences)等。半全局匹配算 法基础是基于点的匹配代价。其中匹配代价为互信息ml (mutual information)o 其

6、计算公式为：= h + hh - hiii其中等式右边表示两个点对之间的信息炳之和减去联合炳。对应的代价聚合就是对第一步的兀配代价的聚合在一起，局部算法中是计算 一个窗口内代价的和，如一个3*3矩形窗内的匹配代价和。半全局匹配算法中的 匹配代价聚合为如下公式述妙)=工52)+工利2-马冋+血-功(6)p斜公式(6)是匹配代价聚合的能量计算的基础上附加了一个额外的平滑约束。右侧第一项表示所有像素点的匹配代价之和，对于像素点p与其相邻的像素点深圳市天智来统技术有限公司深度差有较小变化和较大变化两种情况,第二项和第三项分别用系数p1和p2进 行了惩罚，这里函数t为1当且仅当其参数为真，否则为0。它们

7、要求相邻的 像素点的深度值尽可能地一致，即保持平滑，pl< p2o半全局的深度计算就是对于左图每个像素点p,深度dp二minds(p,d)。使用中 值滤波器滤除突变的深度值。最后进行一致性检查去除由于遮描和错误匹配点。相对于局部算法只考虑某个区域的聚合代价来进行深度赋值，半全局匹配算 法从多个方向聚合考虑了图像中点的全局关联性，提高了匹配的精度。相对于全 局算法如图割法來说，半全局算法只考虑路径上的点而不是全部的点大大提高了 运算的吋间。然后利用深度图计算视差图。2.3系统的功能模块以及工作流程系统主要有立体标定模块、立体校正模块、半全局匹配模块、深度计算模块、 仰角计算模块、带电警戒立

8、体空间划定模块和报警模块组成。主要功能模块如图 2所示。平面靶标标定模块立体匹配模块深度计算模块仰角计算模块坐标转换模块带电立体半 面划定模块报警模块图3系统功能模块示意图其中立体标定模块为立体校正模块和深度计算模块提供摄像机的内外参数, 仰角计算模块主要解决摄像机仰角问题，这两种模块都可以在线下提前完成。当 带电空间警戒平面划定后带电空间警戒模块将不再工作。实时工作的三维带电空 间报警系统工作流程如下图4所示。深圳市天智来统技术有限公司图4三维带电空间警报系统工作流程图3系统软硬件环境软件环境：windows xp/windows7、microsoft visual studio 2010&

9、gt; opencv2.2 或者以上版本。硬件环境：pc机、双目摄像头（4组）、电源设备。4系统的安装与调试4.1设备基础.安装条件以及安装的技术要求要求双目摄像头具有支架支撑，视频采集效果好，能够准确传送视频数据。pc机可用、且稳定性好。具备安装microsoft visual studio 2010等的软件配置。 摄像头的安装条件需要视线条件好（口天），大场景以及近距离安置。ww$kyw1se$y$teil3 com深圳市天智来统技术有限公司双目摄像机放置与待监测立体空间的位置关系如图1所示，可以在此基础上 再加两组摄像头用于更好的监测。单组双目摄像机如图5所示：图5单组双目摄像机使用时首

10、先将摄像机支架打开图图6所示，使得三只脚长度统一，知道如图6所示水平仪中的气泡达到正中为止。图6摇动把手3调节双目摄像机的升降。调整图7所示中的旋钮1,使得水平仪中气泡达到正中i'可如图8所示。横向顺时针旋转 把手2,并且纵向摇动双目摄像机使得其达到平视效果（即没有仰角的情况）。深圳市天智来统技术有限公司图7图8放置双目摄像机止对待监测立体带电空间的的带电平面，背对镜头的两个支 架脚应放置在统一水平线上如图9所示。深圳市天智来统技术有限公司摄像头的矫止：市场购置的双fi摄像头不匹配，需要进行矫正。首先，利用双目摄像头读取棋盘格图片。并ii保存至stereodata文件夹。图 片的命名格

11、式为rightl.jpg, leftl.jpg等,本系统保存图片1520张。然后利用标定程序进行标定得到旋转需要的摄像机参数，主要包括左右摄像 机内部参数，左右摄像头畸变参数，右摄像头到左摄像头的旋转矩阵以及评议矩 阵,并分别存放于ml.txt, m2.txt , dl.txt, d2.txt, r.txt和t.txt文件中。注意， 需将上述六个摄像机参数文件拷贝至系统的工程文件夹中，便于软件调用使用。 不同的摄像机对应的参数不同。保证测试过程中，双目摄像头不被扭转，旋转。否则需要重新标定摄像头。 本系统涉及的摄像头数目有限，故已标定好，可直接使用。矫正过程如图10所示：图10立体标定流程图深

12、圳市天智来统技术有限公司4.2调试软件系统首先连接双目usb摄像头与计算机。配置软件环境，因为每台机器的环境 不同，所以需要配置各种库文件的路径。然后点击编译运行。打开显示图像按钮。如图口所示：安全距喜设定高度鬲度2高度3(a)正确读取深度信息(b)错误读取深度信息图11显示按钮图示11(a)右窗口显示的是深度图，可以看出深度信息明显，比如人的轮廓 黑白分明。如果不明显如图11(b)所示，则原因有三，一方面可能是摄像头的左 右与usb接口连接相反。图示显示的是左视图，可以通过调换usb插口，来判 断显示的是否是左摄像头。另外一方面可能是由于摄像头遭到了变动，导致摄像 头参数不对，需要更换摄像头

13、的参数，最后一种可能是场景本身的深度信息不明 显。这需要调整摄像头在场景屮的安装位置。调试成功后，则可以投入使用。深圳市天智来统技术有限公司5软件系统的使用和操作系统的主框架如下图12所示:图12系统的主框架如图所示，左视图窗口为操作界面。视差图为左右摄像头视差图显示界面。 放大视图是观察窗口。以上三个控件为实时的图像显示信息。框架右上图的两个按钮分别为：图像显示按钮和重绘立体框按钮。中间矩形框内为安全距离设定区。主要有三个高度信息和三个宽度信息。矩 形框内的两个按钮分别为设定参数按钮和参数设定确认按钮。下方的矩形框为场景选择设定区，用户可以根据实际场景需要选择不同的实 用场景。深圳市天智来统

14、技术有限公司最后一个为退出系统按钮。具体实用过程如下所示：第一步：显示图像信息。打开显示图像按钮，系统将显示经过矫正后的左摄像头的实时图像。并且根 据深度计算得到的视差图。下方将显示放大后的左视图，便于观察场景。结果如 图13所示:图13显示图像按钮效果图第二步：划定检测区域鼠标操作，用户可以根据右方得视差图，在左边的视图内划定立体检测区域。 划定方法为：检测区域为立方体结构。用户点击鼠标左键，首先顺时针点击近视 角的四个点，再顺吋针点击远视角的四个点。注意，需要参照视差图，点击的位 置必须是视差值不为0的区域。8个点确定完毕之后，系统将根据用户设定的8 个点自动划定检测区域。如果用户设定的点

15、数超过8个点时，系统将提示用户。 系统将显示监测区域，并且显示每个点的坐标。最后将根据这个监测区域立方体 计算深度值，并且显示在视图上。结果如图14所示：深圳市天智来统技术有限公司图14划定工作区域如果用户的检测区域划定错误，可以点击重绘立体框按钮，系统将清除前一 次的点，允许用户重新输入，且重复次数不受限制。第三步：设定安全距离。用户可以在安全距离设定框内设置所需要设定的安全距离。超过这个距离系 统将报警提示危险。其中,高度1为:xxx （单位：毫米，如200表示200mm,此处数值为高度方向最大 安全距离）高度2为:xxx （单位：毫米，如150表示150mm,此处为高度方向次安全 距离，

16、物体据高度参照观察值小于此距离进行更高级别报警）高度3为:xxx （单位：毫米，如100表示100mm,此处为高度方向带电物 体木身的高度或深度范围，用于系统滤除带电物体木身的干扰）宽度1为:xxx （单位：毫米，如200表示200mm,此处为物体距离待监测 带电物体侧面的最大安全距离，物体距离侧面距离小于此距离，系统进行发声报 警）。宽度2为:xxx （单位:毫米,如150表示150mm,此处为此安全距离，物体深圳市天智来统技术有限公司距离侧面的距离小于此安全距离时进行更高级别的报警）。宽度3为：xxx （单位：毫米，如100表示100mm,次距离用于消除参照带 电物体本身具有一定深度或宽度范围带來的干扰）。初始状态六个输入框是锁定状态，用户需要点击设定参数按钮解锁。然后点 击设定结果按钮，确认参数输入。用户可以重复输入。效果如图15所示:安全距禽设定丧宗豪频设定结束图15设定安全距离第四步：场景选择用户在场景选择框内，可以选择实际使用的场景。本系统可以针