基于图像的高处作业不安全行为识别算法研究

研究发现，作业人员不安全行为是导致事故发生的主要原因之一，其中事故发生率最高的则是高处坠落，因此针对高处施工作业的典型不安全行为识别研究刻不容缓。1

高处作业不安全行为危险性分析根据国家标GB/T 3608–2008《高处作业分级》中有明确规定：“凡是在坠落高度基准面2m以上（包含2m）有可能发生坠落的高处进行的作业统称为高处作业”。引起高处坠落的原因复杂，结合前人事故案例探究发现，工人施工中常因不安全心理或过度疲劳“简化”大量安全操作规范中明确规定的安全作业行为，产生不安全行为，从而诱发事故。事故伤害主要体现在以下不安全心理与可能的危险上。（1）侥幸心理与省能、省时或省事的心理。不按规定动作从高处爬下来或等待运输工具将其运送下来，常常采用跳跃动作从高处跳下来。从高处往下跳跃过程可能会出现工人衣物与脚手架等物体延伸部分钩挂缠绕现象从而打结缠绕人体呼吸等敏感部位（如：颈部、胸部等）造成呼吸困难甚至窒息危险；在落地瞬间，工人往往会因为体重自重带来的冲击力感到脚底或脚腕疼痛出现落地时没有站稳的情况，导致脚部扭伤或是崴脚的事故发生，一旦身体重心发生偏移，便会使身体其他部分（如腰部、头部等）摔伤。（2）为达到省时的目的，单手爬梯。单手力量不足双手力量的五分之一，同时协调灵活性极度降低，因此该动作可能会导致工人作业时坠落。（3）工人因不安全心理接近危险源，即处于不安全的位置，若没有按照标准佩戴防护用品或站在过于靠近放置作业工具的位置，可能会发生自身从邻边区域跌落或碰掉作业工具，从而落物伤人的悲剧。2

不安全行为的特征分析为了及时发现上述三类不安全行为，本研究基于OpenPose框架采用Python语言开发三类不安全行为识别程序。由于每秒视频可以截取25~29张图片，我们在分析每个动作的过程中要根据普遍的动态形态特征分析截取静态特点图片作为算法识别的基础，具体特征分析如下。（1）从高处往下跳跃。根据动态特征静态特点，站姿跳跃或蹲姿跳跃截图往往呈现出腿部弯曲程度的不同，但特点综合概括为：膝盖到臀部的垂直距离变短，具体距离可以根据人体平均数据计算得到。（2）单手爬梯。这里需要讨论两只手不同情况的特征。1）攀爬用手：其静态特点表现为手带动其同边胳膊向上运动，往往呈现出这只手的高度高于肩部所在高度；2）攀爬时未使用的手：由于受到外界物质限制，这只手会处于相对静止的状态，呈现出举端物体状或提重物时的下垂状。（3）在无遮掩的高处边缘逗留。行走的静态特征呈现出正常行走情况下，人不可能同时出现双脚落地的情况，因此单脚踏入指定范围，为其静态特点。3

高处作业三类不安全行为识别算法开发三类不安全行为动作判别趋势具体如下。（1）从高处往下跳。根据施工现场性别、年龄等综合因素的影响，我将选用成年人平均身高下膝关节到骼前上棘（即大腿与臀部的明显分界线处）的垂直距离差作为是否有“向下跳”这一动作的趋势，因此根据2019年全民身体健康数据统计结果得，我国男子平均身高为167.1cm，女子平均身高为155.8cm；中间腿型处于85~89.9cm。对于站姿跳跃，选取大多数成年人腿型，选取中间腿型87.5cm作为腿长（大腿小腿长度比例为3∶2），站姿跳跃下蹲缓冲大腿小腿角度不小于90°，通过计算得膝关节到骼前上棘的垂直距离差为：37.1cm，当出现“站姿跳跃”行为时，该距离小于37.1cm即可作为判断依据。即分别将左、右部膝盖和同侧髋关节作为关键点识别，当“右侧膝盖至右侧髋关节垂直距离小于37.1 cm”与“左侧膝盖至左侧髋关节垂直距离小于37.1 cm”至少有一个满足时，OpenPose可将该行为暂定为站姿跳跃。对于蹲姿跳跃，关键点判别距离约等于人体大腿厚度，为15cm，当“右侧膝盖至右侧髋关节垂直距离小于15cm”与“左侧膝盖至左侧髋关节垂直距离小于15cm”至少有一个满足时，OpenPose可将该行为暂定为蹲姿跳跃，判断表现如图1所示。图1  蹲姿跳跃（2）单手爬梯。根据动态视频中提取的静态图像特征，当算法识别到一只手向上伸并保证另一只手检测不到该趋势即可，即分别将脖颈、右手手腕与左手手腕作为关键点识别，当出现“右手手腕超过脖颈且左手手腕不超过”或者“左手手腕超过脖颈且右手手腕不超过”情况，则可暂识别为单手爬梯，判断表现如图2所示。图2  单手爬梯（3）在无遮掩的高处边缘逗留。为了满足同时识别到该站立行走的连续过程，通常将不发射放射性物质或喷溅物的机器设备外1~3 m作为边缘，为了精确计算，该算法将成年人的一步长作为边界范围。成人正常步幅在65cm左右，一般人的步幅是身高的0.45~0.5倍，并且保证平均身高下男性女性最小危险距离，将边界危险区域设定为83.55cm，引用简单的线性规划，得到正常人在距离划定边界一定范围内单脚进入边界危险区域的距离，即将左脚脚踝与右脚脚踝作为识别关键点，当“至少一单侧脚踝进入划定的边界范围内”情况出现，可暂识别为边缘逗留。在视频行走识别过程中：视频识别需要拍摄角度与拍摄方向一致（即需要将拍摄设备固定，使视频中变量只有人体）。在视频中人物一开始所站区域为安全区域（非边缘危险区域），黄色标尺长度按要求，洞口至砖头之间距离为83.55cm——危险边缘区域，人一旦出现一只脚迈入就会识别。识别结果截图表示为人在安全不动时区域未识别出危险，因此不显示“dangerous”字样；在行走过程中识别到两腿两脚以及进入危险边缘区域识别左上角出现“dangerous”字样，如图3所示。

（a）

（b）图3  视频识别人员不安全行为（a）未到危险区域；（b）进入危险区综上所述，根据三类典型动作呈现出的特征，结合人体工学尺寸设计相关算法。4

识别结果通过以上关键点以及所设计的识别具体动作的算法，针对所研究的三个可能导致工人高坠事故的中，若识别结果中显示人体骨架，即为识别出该危险动作；若识别结果中该图片人体上未标识人体骨架或骨架连接错乱，即为未识别出该危险动作或识别错误。“在高处边缘行走逗留”需要人体与边界范围距离的动态变化，因此有别于以上图片检测，针对视频边缘行走识别结果正确显示为：视频一直在进行人体骨架识别，当作业人员处于安全区域时，视频左上角未出现任何危险提示字样；当作业人员走进危险边缘区域时，视频左上角出现“dangerous”字样作为提示。共计导入相关不安全姿态图片48张和两段现场录制视频，成功识别40张和两段段视频，识别失败或者无法识别8张，由于网络中涉及所分析行为的图片较少，仅针对以上输入数据分析，图片识别率约为83.3%，且能够有效识别视频中的不安全行为。面对识别失败或无法识别的样本，如图4、图5所示，分析原因有以下几点。图4  分辨率低的识别失败图图5  多人背景的识别失败图片（1）图片分辨率过低，出现雪花纹路无法进行识别。（2）本次设计主要应用于单人识别情况，多人出现背景较复杂的场景下人体识别会出现错乱。（3）网络图片大多数为动画人物，动画人物与真实人体组织框架有较大差别，无法识别出。（4）对于真实人物图像，因拍摄视角遮挡住重要关节识别点而造成错乱等。5

结论（1）本研究区别于广大综合算法研究，首次选取建筑施工中三类典型不高处作业时可能发生的安全行为为研究对象，并从动态和静态两个角度对出现此类动作前的趋势进行特征分析。（2）作者构建的OpenPose不安全