提高物联终端固件安全检测效率-QC成果

提高物联终端固件安全检测效率一、选择课题（一）名次解释1.物联终端：一种能够对物联网对象或环境的状态进行感知，并具有简单数据处理、通信、人机交互等全部或部分功能的装置，包括智能传感器、智能业务终端、采集控制终端等。图1各类物联终端2.固件：硬件设备中以只读软件形式存储的计算机指令和数据的集合。（二）选题背景1.新型电力系统建设提出新要求物联终端作为新型电力系统的基础底座，其安全性决定着整个新型电力系统的安全性。固件作为物联终端的核心控制程序，是物联终端的灵魂，其安全性决定了物联终端的安全性，因此确保物联终端安全上线成为网络安全风险防控中的关键环节。省公司高度重视物联终端接入安全工作，印发了《省公司关于加强无线公网和物联终端接入管理的通知》（冀电互联〔2020〕13号），要求电科院做好物联终端固件安全检测工作。2.海量终端类型带来新挑战预计2022年底，分布式光伏、储能、充电桩等物联终端接入量将超过40万，各类终端品类繁多并且接入模式迥异，导致物联终端本体安全和通信安全能力参差不齐，给检测工作带来了新的挑战。3.安全检测能力亟待提升2022年已测物联终端数量达到300个，预计2023年将达到500个，目前电科院每台物联终端固件安全检测平均工作量为20人天，现有检测效率已无法满足日益增长的检测需求。因此有必要开展“提高物联终端固件安全检测效率”QC课题研究。确定课题后，小组按照PDCA原则制定活动计划甘特图，如下所示。图2小组活动计划甘特图二、现状调查（一）调查一：分析物联终端固件安全检测全过程为分析物联终端固件安全检测全过程，小组成员分工梳理检测流程，完成物联终端固件安全检测流程图绘制。图3物联终端固件安全检测流程图（二）调查二：物联终端固件安全检测各环节工作量调查针对2021年1月-12月间，实验室七种不同类型物联终端的委托单位提出检测申请、签订委托协议、接收样品、初测、编写观察报告、复测、出具正式报告并归档等七个环节所用工作量进行调查，计算出各环节的平均工作量。表1不同类型终端各环节检测评价工作量真实调查各环节终端委托单位提出检测申请（人天）签订委托协议（人天）接收样品（人天）初测（人天）编写观察报告（人天）复测（人天）出具正式报告并归档（人天）总工作量（人天）输电线路监拍装置1.20.50.613.80.92.31.120.4安监布控球1.50.60.814.11.12.5121.6台区智能融合终端1.50.60.414.60.82.21.221.3无人机1.30.80.612.7121.119.5网络摄像头10.40.513.60.91.81.319.5馈线终端10.60.514.412120.5覆冰装置1.10.60.614.212.11.220.8平均值1.230.590.5713.910.962.131.1320.51图4检测项目各环节工作量排列图针对2021年1月-12月间，同行业物联终端固件安全检测的各个环节平均工作量开展调研。表2同行业各环节检测评价工作量真实调查各环节终端委托单位提出检测申请（人天）签订委托协议（人天）接收样品（人天）初测（人天）编写观察报告（人天）复测（人天）出具正式报告并归档（人天）总工作量（人天）xx1.20.60.76.312112.8xx1.50.80.69.81.11.51.216.5xx1.50.50.514.61.22.11.221.6xx1.30.60.615.6121.122.2平均值1.380.630.6011.581.081.901.1318.28经现场调查和同行业调研，QC小组发现初测环节所占工作量最大，占到整个工作量的67.8%，是主要症结。（三）调查三：国内同行业先进水平分析与比较通过2021年度统计数据，目前开展物联终端固件安全检测的其他公司初测环节平均工作量为11.58人天，其中效率最高的电力初测工作量为6.3人天，初测环节平均工作量为13.91人天，有很大提升空间。图5同行业对比图三、设定目标（一）设定目标值依据上述数据分析，小组将检测效率最高的公司定为目标，即：提高初测环节工作效率至6人天以内，使物联终端固件安全检测整体工作量由20.51人天缩短至13人天以内。目标完成节点为2022年10月25日。图6检测效率目标值设定（二）目标值理论分析小组成员结合以上数据对物联终端固件安全检测时间理论值进行预估计算与分析。表3目标值理论分析序号目标依据1目前物联终端固件安全检测平均工作量为20.51人天，若将初测环节工作量由13.91人天缩短至6人天，则整体检测工作量可降低7.9人天。2整体物联终端固件安全检测工作量降为12.61人天。四、原因分析小组成员运用头脑风暴法，从人、机、料、法、环五个方面对影响具体检测过程工作量原因展开讨论分析，并绘制了因果图。图7末端因素分析图五、确定主要原因针对6项末端因素，小组成员分组通过模拟实验和调查分析等手段对各末端因素进行研究，根据影响程度（影响程度=QUOTE⥂对比中试验时间-活动前试验时间活动前试验时间）大小判断是否为要因，影响程度较大的视为要因。（一）要因确认一：缺少合理的检测流程表4缺少合理的检测流程要因确认表确认方法模拟实验验证确认人员确认时间确认内容现有检测流程细节繁多，沟通时间长。确认过程及分析通过调查分析，对系统检测流程细节进行梳理，形成规范的检测流程，通过模拟实验进行验证，有效减少初测工作量3.8人天，平均影响程度为18.55%，效果明显。确认结论是要因表5缺少合理的检测流程要因活动记录各环节终端委托单位提出检测申请（人天）签订委托协议（人天）接收样品（人天）初测（人天）编写观察报告（人天）复测（人天）出具正式报告并归档（人天）模拟实验工作量（人天）实验前工作量（人天）影响程度%实验人东方电子监拍装置1.30.50.610.312116.721.622.69南瑞监拍装置1.10.70.510.81.11.51.216.921.320.66齐丰科技监拍装置1.20.60.59.61.22.11.216.419.515.90安监布控球1.50.40.7912.51.216.319.516.41广州长川-覆冰装置1.30.50.610.6121.117.120.516.59平均值1.280.540.5810.061.062.021.1416.6820.4818.55图8要因一影响程度图（二）要因确认二：缺少典型测试用例库等测试指导文件表6缺少典型测试用例库等测试指导文件要因确认表确认方法模拟实验验证确认人员确认时间确认内容调查资深检测人员与新入职检测人员对不同检测项的检测方法，确认不同测评人员的检测方法对检测效率的影响。确认过程及分析通过将不同检测人员的检测时长及方法进行比对，提炼出针对部分检测项的典型经验，固化检测步骤实现知识共享，较之前的检测效率有很大改变。通过模拟实验进行验证，平均可减少3.14人天工作量，平均影响程度为15.33%，影响较大。确认结论是要因表7缺少典型测试用例库等测试指导文件要因活动记录各环节终端委托单位提出检测申请（人天）签订委托协议（人天）接收样品（人天）初测（人天）编写观察报告（人天）复测（人天）出具正式报告并归档（人天）模拟实验工作量（人天）实验前工作量（人天）影响程度%实验人东方电子监拍装置1.20.50.611.312117.621.618.52南瑞监拍装置1.10.70.511.61.21.81.11821.315.49齐丰科技监拍装置1.20.50.510.51.121.21719.512.82安监布控球1.40.40.79.612.51.216.819.513.85广州长川覆冰装置1.30.50.610.8121.117.320.515.61平均值1.240.520.5810.761.062.061.1217.3420.4815.33图9要因二影响程度图（三）要因确认三：未对检测终端进行分类表8未对检测终端进行分类要因确认表确认方法模拟实验确认人员确认时间确认内容调查终端类型，包括无人机、输电智能监拍装置和智能融合终端等，确认能否根据不同类型终端固化不同检测方法及对整体检测效率的影响。确认过程及分析通过对终端进行分类，小组成员发现不同终端类型固件有明显差异，提取固件方法与检测方法会根据固件类型改变，制定不同的检测方法，减少不必要检测内容，并对内容进行固化，较之前的检测效率有很大改变。通过模拟实验进行验证，平均可减少4.62人天工作量，平均影响程度为22.56%，影响较大。确认结论是要因表9未对检测终端进行分类要因活动记录各环节终端委托单位提出检测申请（人天）签订委托协议（人天）接收样品（人天）初测（人天）编写观察报告（人天）复测（人天）出具正式报告并归档（人天）模拟实验工作量（人天）实验前工作量（人天）影响程度%实验人东方电子监拍装置1.10.50.69.81.12116.121.625.46南瑞监拍装置1.20.50.78.61.22.31.115.621.326.76齐丰科技监拍装置1.20.50.59.51.121.21619.517.95安监布控球1.30.60.691.22.51.116.319.516.41广州长川覆冰装置1.20.50.59.112115.320.525.37平均值1.200.520.589.201.122.161.0815.8620.4822.56图10要因三影响程度图（四）要因确认四：缺少自动化检测手段表10缺少自动化检测手段要因确认表确认方法模拟实验验证确认人员确认时间确认内容调研物联终端固件安全自动化检测可行性，及对整体检测效率的影响。确认过程及分析由于代码分析、二进制漏洞分析工作繁琐、重复性较高，导致检测时间过长，效率低，通过文献搜集，梳理自动化检测技术路线，采用自动化检测手段，将检测内容划分为固件自身安全检测、典型安全漏洞检测、恶意软件检测、CVE漏洞检测、敏感信息检测5部分。通过模拟实验进行验证，平均可减少7.42人天工作量，平均影响程度为36.23%，影响较大。确认结论是要因表11缺少自动化检测手段要因活动记录各环节终端委托单位提出检测申请（人天）签订委托协议（人天）接收样品（人天）初测（人天）编写观察报告（人天）复测（人天）出具正式报告并归档（人天）模拟实验工作量（人天）实验前工作量（人天）影响程度%实验人东方电子监拍装置1.20.50.67.211112.521.642.13南瑞监拍装置1.20.50.76.81.11.51.112.921.339.44齐丰科技监拍装置1.10.50.571.121.213.419.531.28安监布控球1.20.60.68.21.11.11.113.919.528.72广州长川覆冰装置1.20.50.57.111.3112.620.538.54平均值1.180.520.587.261.061.381.0813.0620.4836.23图11要因四影响程度图（五）要因确认五：测评人员少表12人员配置不当要因确认表确认方法模拟实验验证确认人员确认时间确认内容调查实际检测人员数量，包括检测计划制定、固件提取、安全检测、报告编写、报告审核等人员配置，是否可以根据不同工作进行角色划分及对整体工作效率的影响。确认过程及分析通过对检测人员根据工作内容进行角色划分，将角色划分为总规划、检测组长、固件提取组长、安全测试组长、检测员、报告编写员等，一人兼职多个角色，并固化工作内容。通过模拟实验进行验证，平均可减少1.1天时长，平均影响程度为5.37%，影响较小。确认结论非要因表13人员配置不当要因活动记录各环节终端委托单位提出检测申请（人天）签订委托协议（人天）接收样品（人天）初测（人天）编写观察报告（人天）复测（人天）出具正式报告并归档（人天）模拟实验工作量（人天）实验前工作量（人天）影响程度%实验人东方电子监拍装置1.30.50.613.212119.621.69.26南瑞监拍装置10.50.713.81.12.51.120.721.32.82齐丰科技监拍装置1.20.50.511.91.12.11.218.519.55.13安监布控球1.20.70.6121.12.51.119.219.51.54广州长川覆冰装置1.10.50.512.512.3118.920.57.80平均值1.160.540.5812.681.062.281.0819.3820.485.37图12要因五影响程度图（六）要因确认六：未固定实验室检测环境表14未固定实验室检测环境要因确认表确认方法模拟实验验证确认人员确认时间确认内容调查实验室检测环境因素，包括温度、湿度、光线、检测环境整洁度、材料用具整齐度等，对整体检测效率的影响。确认过程及分析通过改变实验室检测环境，小组成员发现物理环境因素对检测效率基本无影响，材料、终端、检测用具摆放是否整齐有序对检测效率有轻微影响。通过模拟实验进行验证，平均可减少1.2人天工作量，平均影响程度为5.86%，影响较小。确认结论非要因表15未固定实验室检测环境要因活动记录各环节终端委托单位提出检测申请（人天）签订委托协议（人天）接收样品（人天）初测（人天）编写观察报告（人天）复测（人天）出具正式报告并归档（人天）模拟实验工作量（人天）实验前工作量（人天）影响程度%实验人东方电子监拍装置1.30.50.613.61212021.67.41南瑞监拍装置10.50.713.31.12.51.120.221.35.16齐丰科技监拍装置1.20.50.5111.12.11.217.619.59.74安监布控球1.20.70.611.51.12.51.118.719.54.10广州长川覆冰装置1.10.50.513.512.3119.920.52.93平均值1.160.540.5812.581.062.281.0819.2820.485.86图13要因六影响程度图通过对上述6个末端因素逐一进行确认、分析，得到各个因素对具体检测工作量的影响占比柱状图。图14末端因素影响程度图通过以上分析，QC小组确认主要原因为：缺少合理的检测流程、缺少典型测试用例库等测试指导文件、缺少自动化检测手段和未对检测终端进行分类。六、制定对策QC小组利用头脑风暴法，集思广益，积极发表意见，根据缺少合理的检测流程、缺少典型测试用例库等测试指导文件、缺少自动化检测手段和未对检测终端进行分类四点实际检测中的主要影响原因，分别指定对策。（一）要因确认一：“缺少合理的检测流程”解决对策针对检测流程细节繁多，沟通时间长，提出制定规范的检测流程解决方案。表16要因一对策方案方案1方案内容对物联终端固件安全检测流程细节进行梳理，包括检测项目发起、资料审核及分配人员、初测、完成观察报告编写、整改报告确认、复测、出具正式报告等环节，制定合理的检测流程。有效性可以有效简化测评流程，减少沟通时间预计减少工作量2人天是否采用是（二）要因确认二：“缺少典型测试用例库等测试指导文件”解决对策针对测试人员因技能水平、工作经验差异导致测试效率差距较大，提出师带徒和固化形成典型经验与知识库两种解决方案。表17要因二对策方案方案1方案2方案内容通过一对一结对进行培训，并开展实际测试工作，有效提升整体检测效率通过反复对比分析不同技术人员的测试效率，归纳提炼出每一检测项的最佳测试方法，并固化形成典型测试用例库、物联终端固件安全检测作业指导书及测试工具操作规程有效性实施相对简单，但是每位检测人员的经验并不完全一致，无法对比分析形成最佳经验，而且不利于检测人员快速提升检测效率能够全面实现经验固化和知识共享，有效指导物联终端固件安全初测、复测工作高效化、标准化开展预计减少工作量1人天2人天是否采用否是（三）要因确认三：“缺少自动化检测手段”解决对策表18要因三对策方案方案1方案内容通过文献搜集，梳理自动化检测技术路线，总结自动化检测所需的五大技术，分别为：固件自身安全检测技术、典型安全漏洞检测技术、恶意软件检测技术、CVE漏洞检测技术、敏感信息检测技术，研发物联终端固件安全检测平台，实现自动化检测。有效性实施简单，可操作性性强，能够根据物联终端类型针对性开展固件安全检测，固化检测内容和方法预计减少工作量7人天是否采用是（四）要因确认四：“未对终端进行分类”解决对策表19要因四对策方案方案1方案内容通过对物联终端进行分类，制定不同的检测方法，减少不必要检测内容，并对内容进行固化。有效性可以有效提高检测效率预计减少工作量3人天是否采用是小组成员经过认真分析讨论，按照5W1H的原则制定对策。表20对策制定进程时间表序号主要原因对策目标措施地点完成日期负责人1缺少合理的检测流程制定规范的检测流程有效简化检测流程，减少沟通时间成本1.对物联终端固件安全检测流程细节进行梳理，包括检测项目发起、资料审核及分配人员、初测、完成观察报告编写、整改报告确认、复测、出具正式报告等环节。2.制定各环节文档标准模板。实验室2缺少典型测试用例库等测试指导文件制定规范的测试指导文件全面实现经验固化和知识共享，有效指导物联终端固件安全初测、复测工作高效化、标准化开展1.通过反复对比分析不同技术人员的测试效率，归纳提炼出每一检测项的最佳测试方法。2.固化形成典型测试用例库、物联终端固件安全检测作业指导书及测试工具操作规程。实验室3缺少自动化检测手段开发物联终端固件安全检测平台实现自动化检测，大幅度提高检测效率完成固件自身安全检测技术、典型安全漏洞检测技术、恶意软件检测技术、CVE漏洞检测技术、敏感信息检测技术五大技术研究，研发物联终端固件安全检测平台，实现自动化检测。实验室4未对终端进行分类制定不同类型终端检测方法减少不必要检测内容，并对检测方法和内容进行固化明确各类终端的固件提取方式、检测内容、加测要求及相关标准化记录表格实验室七、对策实施（一）制定合理的检测流程针对对策一实施，小组成员从检测任务发起、样品接收、具体检测、出具正式报告等环节制定了详细的检测流程，显著减少了各环节的等待时间和沟通时间。图15物联终端固件安全检测流程图根据新制定的检测流程，在5个物联终端固件安全检测工作中进行了全面试用，根据试用结果，新制定的检测流程对检测工作各环节、各类记录文档覆盖率100%，能够指导检测工作高效、有序推进。表21对策一实施确认表终端名称测评工作环节覆盖率全过程记录表格覆盖率检测人东方电子监拍装置100%100%南瑞监拍装置100%100%齐丰科技监拍装置100%100%安监布控球100%100%广州长川覆冰装置100%100%（二）编制规范的测试指导文件针对对策二实施，通过反复对比分析不同技术人员的检测效率，归纳提炼出每一检测项的最佳测试方法，并固化形成典型测试用例库、物联终端固件安全检测作业指导书及测试工具操作规程，实现经验固化和知识共享，有效指导物联终端固件安全检测工作高效化、标准化开展。1.建立典型测试用例库收集整理测试用例，建立包含90余条测试用例的典型测试用例库，每条测试用例包括检测方法、检测目标、检测要求、检测步骤、检测用例及预期结果等6项内容，显著提升测试工作效率。图16物联终端固件安全检测测试用例集2.编制物联终端固件安全检测作业指导书编写规范化物联终端固件安全检测作业指导书，明确了固件自身安全、敏感信息泄露检测、CVE漏洞检测等5类28个检查项的最佳检测方法及对应典型测试用例，有效指导检测工作准确、快速进行。图17物联终端固件安全检测作业指导书根据新编制的测试指导文件，在5个物联终端固件安全检测初测和复测环节进行了全面试用，根据试用结果，新编制的测试指导文件能够覆盖所有类型测试用例，所有检测工具操作步骤、所有检测项检测方法，用例设计准确性、检测方法正确性均为100%，能够指导测评人员高效、正确开展具体检测工作。表22对策三实施确认表终端名称测试用例、操作步骤、检测方法覆盖率用例设计准确性、检测方法正确性检测人东方电子监拍装置100%100%南瑞监拍装置100%100%齐丰科技监拍装置100%100%安监布控球100%100%广州长川覆冰装置100%100%（三）研发自动化检测平台针对对策三实施，物联终端固件安全检测平台通过对物联终端固件文件进行逆向解析，分析固件中各代码模块的调用关系及代码内容，分析其软件组成成分以及安全机制的使用情况，针对典型的CWE安全缺陷，如整数溢出漏洞、空指针引用、危险函数调用、远程命令执行等问题自动化安全检测，定位到存在安全隐患的具体代码文件，并对第三方组件进行CVE漏洞对比分析，利用隐私检测分析技术，识别敏感关键词、用户密码信息、加密认证文件等信息，形成固件自身安全检测、典型安全漏洞检测、恶意软件检测、CVE漏洞检测、敏感信息检测五大自动化检测模块，大幅度提高检测效率。图19物联终端固件安全检测平台架构图利用物联终端固件安全检测平台，在5个物联终端固件检测工作中进行了全面试用，显著提高了检测效率，能够使检测人员高效、正确开展具体检测工作。表23对策三实施确认表终端名称是否支持各类物联终端是否具有较强的可操作性测评人东方电子监拍装置是是南瑞监拍装置是是齐丰科技监拍装置是是安监布控球是是广州长川覆冰装置是是（四）制定不同类型终端检测方法针对对策四实施，通过反复对比分析不同类型物联终端检测内容及方法，减少不必要检测内容，并对检测方法和内容进行固化，明确各类终端的固件提取方式、检测内容、加测要求及相关标准化记录表格，提高检测工作效率。图20物联终端固件安全检测典型经验通过编制不同类型物联终端固件安全检测典型经验，规范化不同类型物联终端的检测方法，在5个物联终端固件检测工作中进行了全面试用，显著提高了检测工作效率。表24对策四实施确认表终端名称终端类型覆盖率检测内容、报告模板正确性检测人北京智芯融合终端100%100%南瑞监拍装置100%100%输电线路无人机100%100%安监布控球100%100%广州长川覆冰装置100%100%八、效果检查（一）效果检查为了确保对策实施后不影响原有检测准确性，对4项对策中可能影响准确性的质量因素进行了全面排查，并随机抽取3个被测终端进行测试结果对比分析，发现测试数据一致、结果相同，因此该成果满足准确性要求。表25试验数据准确性比较对比内容固件自身安全检测、典型安全漏洞检测、恶意软件检测、CVE漏洞检测、敏感信息检测对比时间2022-6-8至2022-6-25评定标准QC活动前后测试发现问题内容与数量一致判定为通过。对比结果南京悠阔输电智能监拍装置2.安徽康能电气输电智能监拍装置3.台区智能融合终端问题内容问题数量问题内容问题数量问题内容问题数量表述一致均为3个表述一致均为6个表述一致均为1个对比结果通过通过通过（二）目标值检查1.目标值检查QC小组对南京悠阔输电智能监拍装置、安徽康能电气输电智能监拍装置、台区智能融合终端、广州长川覆冰装置、安监布控球五个终端进行检测，在检测过程中，应用了合理的检测流程、规范的测试指导文件、自动化检测手段、分类的检测方法等四项措施。物联终端固件安全检测效率大幅度提升。所占用工作量统计如下所示。表26QC小组活动前具体检测过程工作量统计表各环节终端委托单位提出检测申请（人天）签订委托协议（人天）接收样品（人天）初测（人天）编写观察报告（人天）复测（人天）出具正式报告并归档（人天）总工作量（人天）实验人东方电子监拍装置1.50.60.814.11.12.5121.6南瑞监拍装置1.50.60.414.60.82.21.221.3齐丰科技监拍装置1.30.80.612.7121.119.5安监布控球10.60.514.412120.5广州长川覆冰装置1.10.60.614.212.11.220.8平均值1.280.640.5814.000.982.161.120.74表27QC小组活动后具体检测过程工作量统计表各环节终端委托单位提出检测申请（人天）签订委托协议（人天）接收样品（人天）初测（人天）编写观察报告（人天）复测（人天）出具正式报告并归档（人天）总工作量（人天）实验人东方电子监拍装置1.20.60.85.81.11.5112南瑞监拍装置1.10.60.46.50.81.21.211.8齐丰科技监拍装置1.30.80.65.511.11.111.4安监布控球10.60.55.511.5111.1广州长川覆冰装置1.10.60.66.1111.211.6平均值1.140.640.585.880.981.261.111.58图21活动后物联终端固件安全检测排列图QC小组将活动前后时间进行比对，初测环节工作量从13.91人天降低至5.88人天，整体试验时间从20.74人天缩短至11.58人天，低于目标值。结论：达到目标。图22小组活动前后目标值对比（三）活动效益小组此次活动目标值顺利实现，为公司带来了活动效益。1.持续提高物联终端固件安全检测效率，有效避免省公司新上线物联终端送第三方机构进行检测，实现安全检测业务的提质增效。2.有效提升检测人员能力，确保及时发现和整改物联终端固件各类漏洞隐患，确保物联终端上线后安全稳定运行，有效避免网络安全事件的发生。3.大幅度降