版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
PrioritizingTestingInstancestoEnhancetheRobustnessofObjectDetectionSystems用于提升目标检测系统鲁棒性的测试实例优先级2024.07.09背景基于深度学习的目标检测模型广泛部署于自动驾驶系统中,它是否可靠决定了整体系统的安全性目标检测系统是采用数据驱动的编程范式开发的,它从大规模数据集中学习逻辑,数据集的质量决定了系统质量开发者通常会雇用大量人力来标注原始数据,耗费人力与预算测试和优化目标检测系统已成为一项紧迫而具有挑战性的任务2018年3月,优步(Uber)的一辆自动驾驶汽车因其目标检测系统的限制而未能检测到一名女性,导致她死亡。2019年,特斯拉的自动驾驶汽车与一辆卡车相撞,原因是其物体探测系统未能区分白色卡车和明亮的天空。面向自动驾驶的目标检测系统的可靠性令人担忧:面向自动驾驶的目标检测数据集标注费用昂贵:目标检测数据集:$65/1000个物体
分类数据集:$35/1000张图片数据标注服务传统数据集标注以图片为单位,而目标检测数据集以单个物体为单位目标检测数据集的标注费用比传统分类数据集高很多介绍大多数数据优先级范式都难以应用于目标检测系统目前的技术主要是为图像级任务设计的,并不适合复杂的目标检测系统,图像级方法浪费标注预算大量标注预算用于标注原本正确的数据现状本文工作提出了一个名为DeepView的新测试优先级工具。DeepView专注于实例级别的错误检测,而不是图像级别,旨在通过优先选择需要标注的数据来节省标注时间与预算并提升模型性能。方法总流程实例分割
能力计算优先级排序实例标注方法分类能力(Cls-capability)计算正则表示:分类能力计算公式:分类能力越差C的值越大方法定位能力(Loc-capability)计算现状:一个训练良好的目标检测模型能够更精确地在较粗略的提议区域基础上定位目标;而训练不良的模型输出则更接近原始提议区域。定位能力计算公式:并交集(重合比例)计算公式:定位能力越差L的值越大提议区域计算公式:直接保存提议区域浪费计算资源,因此通过最终检测框和回归信息来推导模型视角的方法方法DeepView算法概述得到两个指标相乘则为最后的排序指标M,值越大代表实例更有可能显示对象检测模型中的错误。实验设计数据集和模型选择SSD(SingleShotMultiBoxDetector):代表性的单阶段模型,不需要候选区域生成器,而是在网络中直接提取特征,并使用这些局部特征作为候选区域来进行区域调整和目标分类。FasterR-CNN:代表性的两阶段模型,首先进行区域生成,这些生成的区域被称为候选区域(proposals),然后使用卷积神经网络(CNN)对这些候选区域进行特征提取,然后进行调整和目标分类确保实验结果的通用性实验设计基准方法研究背景:目前还没有专门为目标检测模型设计的测试优先级技术,现有的优先级技术难以直接应用于目标检测系统。具体基准方法:DeepGini:这是一个通用的分类系统测试优先级方法,其核心思想是计算图片预测结果的基尼系数(Ginicoefficient)。为了尽可能将这一技术迁移到目标检测模型上,作者计算了模型对单张图片输出的多个分数的基尼系数。Margin(1vs2-Sum)和Entropy:这是两种最先进的目标检测模型主动学习方法,使用这些方法中的排名算法来与DeepView进行比较。Margin方法的作者提出了不同的计算方法(1vs2-Max、1vs2-Avg、1vs2-Sum),在本文中使用了论文中报告的最佳算法。随机采样方法:使用了两种随机采样方法作为基准,分别是图像级别随机(Ran-Imag)和实例级别随机(Ran-Inst)。额外实验:进行了额外实验来证明使用定位能力(Loc-capability)的必要性实验结果排序数据的有效性APFD:在测试过程中发现故障的平均百分比。RAUC-500(曲线下面积比率):衡量优先排序方法结果的前500个实例的效果不同配置下DeepView和基准方法的APFD值和差异该技术比传统技术更有效地将系统容易检测出错的实例排到靠前位置该技术在不同目标检测阈值配置下的稳定性比传统方法更优秀仅使用分类能力和完整的DeepView的APFD和RAUC-500值不同配置下DeepView和基线的RAUC-500值实验结果排序数据的多样性该技术排序出的错误种类更加多样化错误类型累积总和曲线当重新训练的数据缺乏足够的多样性时,可能会导致训练结果的偏差,从而降低模型的准确性错误类型公式:𝑥轴是优先级列表的执行顺序,𝑦轴表示执行前𝑥个实例后发现的不同错误类型的数量。多样性量化方法:DeepView能够用更少的测试用例揭示更多类型的检测错误实验结果排序数据对目标检测系统可靠性的提升该技术通过优先标注更多目标检测系统容易出错
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 2024年版企业破产重整合同
- 2024年度无息个人婚礼筹备借款协议书下载3篇
- 2025年日喀则货运资格证模拟考试
- 2024年停薪留职期间员工社会保险及福利协议合同3篇
- 2025购房合同的范本 购房合同样本
- 2025年柳州货运从业资格证考试卷
- 洛阳理工学院《内科护理学2》2023-2024学年第一学期期末试卷
- 2024年墓地环境优化协议3篇
- 汽车俱乐部喷泉建设合同
- 2024年度家电品牌全国巡回展销合同范本3篇
- 【MOOC】法理学-西南政法大学 中国大学慕课MOOC答案
- 辽宁省普通高中2024-2025学年高一上学期12月联合考试语文试题(含答案)
- 储能运维安全注意事项
- 2024蜀绣行业市场趋势分析报告
- 电力法律法规培训
- 2024年世界职业院校技能大赛“智能网联汽车技术组”参考试题库(含答案)
- 【课件】校园安全系列之警惕“死亡游戏”主题班会课件
- 化工企业冬季安全生产检查表格
- 2024年工程劳务分包联合协议
- 蜜雪冰城员工合同模板
- 广东省深圳市龙岗区2024-2025学年三年级上学期11月期中数学试题(含答案)
评论
0/150
提交评论