GB/T 37036.7-2023 信息技术 移动设备生物特征识别 第7部分：多模态（正式版）

ICS35.240.01GB/T37036.7—2023信息技术移动设备生物特征识别国家市场监督管理总局国家标准化管理委员会GB/T37036.7—2023 I Ⅱ 3术语和定义 4.1融合层级 4.2技术架构 5业务流程 3 45.4分数级融合 5.5决策级融合 86.1总体要求 86.2多模态特征采集模块 6.3多模态特征存储模块 6.4多模态特征比对模块 7注册失败率和识别响应时间 7.1多模态识别注册失败率 7.2多模态识别响应时间 8安全要求 8.1总体要求 8.2多模态信息采集安全 8.3多模态信息存储安全 8.4多模态信息使用安全 IGB/T37036.7—2023本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。本文件是GB/T37036《信息技术移动设备生物特征识别》的第7部分。GB/T37036已经发布了以下部分：——第1部分：通用要求；——第4部分：虹膜；——第6部分：指静脉；——第7部分：多模态；——第8部分：呈现攻击检测。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由全国信息技术标准化技术委员会(SAC/TC28)提出并归口。本文件起草单位：支付宝(中国)网络技术有限公司、中国电子技术标准化研究院华东分院、人力资源和社会保障部信息中心、新大陆数字技术股份有限公司、北京旷视科技有限公司、中国电子技术标准通技术有限公司、北京得意音通技术有限责任公司、北京眼神智能科技有限公司、联想中天科技有限公技有限公司、华为终端有限公司、西安凯虹电子科技有限公司、北京邮电大学、北京万里红科技有限公技(北京)有限公司、紫光同芯微电子有限公司、广东中科臻恒信息技术有限公司。ⅡGB/T37036.7—2023 第3部分：人脸。目的在于确立移动设备在人脸生物识别方面的流程和要求 1GB/T37036.7—2023信息技术移动设备生物特征识别第7部分：多模态2规范性引用文件下列文件中的内容通过文中的规范性引用而构成文件必不可少的条款。其中，注日期的引用文本文件。GB/T36460信息技术生物特征识别多模态及其他多生物特征融合GB/T37036.1—2018信息技术移动设备生物特征识别第1部分：通用要求GB/T37036.2—2019信息技术移动设备生物特征识别第2部分：指纹GB/T37036.3—2019信息技术移动设备生物特征识别第3部分：人脸GB/T37036.4—2021信息技术移动设备生物特征识别第4部分：虹膜GB/T37036.5—2023信息技术移动设备生物特征识别第5部分：声纹GB/T37036.6—2022信息技术移动设备生物特征识别第6部分：指静脉GB/T40660—2021信息安全技术生物特征识别信息保护基本要求3术语和定义下列术语和定义适用于本文件。3.13.23.3生物特征项biometricfeature从生物特征样本中提取的用于比对的数值或标记。2GB/T37036.7—2023注5:应用于生物特征样本的过滤器本身不是生物特征项，如特征脸不是生物特征项，但是过滤器应用于样本的输出可能是生物特征项。3.4注1:多重意味着类型的差异。注2:三个组成成分指生物特征特性的类型、传感器类型和处理方法。3.5一种基于多模态进行识别得到确定结果的生物特征识别技术。3.6多模态特征multi-modalfeature用于多模态识别的生物特征项。4总体框架移动设备多模态识别层级分类按照GB/T36460的描述，一般可以分为样本级融合、特征级融合、分数级融合和决策级融合四个层级。——样本级融合即每个单一生物特征识别过程输出一组样本，将多组生物特征样本数据融合为一——特征级融合即每个单一生物特征识别过程输出一组特征，将多组生物特征融合为一个特征集或者特征向量。——决策级融合即每个单一生物特征识别过程输出一个布尔值。利用混合算法如和与或，或者采本文件给出的移动设备多模态识别技术架构是GB/T37036.1—2018中描述的通用技术架构在多模态识别应用领域的具体化，见图1。移动设备生物特征识别多模态融合过程中，样本级融合在样本采比对模块被调用之后实现融合。一个生物特征识别系统通常使用上述融合形式或者层级的一种来完成3GB/T37036.7—2023安企环境比对特征级样本级融合255融合层级应具备的模块，但可位丁移动设备端或者服务器应具备的模块特征级融合提取样本采集提取图1移动设备多模态识别技术架构5业务流程多模态识别融合层级不同，业务流程也有所区别。下面各条款分别按照不同融合层级描述各典型典型的样本级融合注册过程见图2。呈现攻击检测n移动设备侧采集样本na)通过移动设备侧同时采集或依次采集样本1和样本n(n≥2)(样本如人脸图像、指纹图像等);b)分别对每个采集过程进行生物特征样本质量判断，c)对采集到的样本数据进行融合；4GB/T37036.7—2023d)从融合后的样本数据中提取生物特征项；e)将生物特征项存储在特征存储模块中作为多模态生物特征参考，并与用户身份标识关联。典型的样本级融合识别过程见图3。参考参考质量判断采集样本1移动设备侧采集样本特征项提取图3样本级融合识别过程识别过程通常包含如下阶段：a)移动设备侧同时采集或依次采集样本1、生物特征样本n(n≥2),采集方式同注册时的采集方式相对应；b)分别对每个采集过程进行生物特征样本质量判断，并进行呈现攻击检测；c)对采集到的样本数据进行融合；d)从融合后的数据中提取生物特征项；e)将提取的生物特征项与存储在特征存储模块中的一个或多个用多模态生物特征参考进行比f)根据比对分数进行识别决策并输出识别结果。注销过程通常包含如下阶段：a)启动注销过程；b)在生物特征存储模块中删除与待注销用户关联的全部生物特征参考，并在多模态识别系统中删除待注销用户的身份标识；c)结束注销过程。5.3特征级融合典型的特征级融合注册过程见图4。呈现攻击检测1关联标识质量判断采集样本1特征项提取I特征项提取图4特征级融合注册过程注册过程通常包含如下阶段：a)移动设备侧同时采集或依次采集样本1、生物特征样本n(n≥2);b)分别对每个采集过程进行生物特征样本质量判断，并进行呈现攻击检测；5GB/T37036.7—2023c)分别针对每个采集的生物特征样本提取生物特征项1、生物特征项n;e)将多模态生物特征项存储在特征存储模块中，作为多模态生物特征参考，并与用户身份标识典型的特征级融合识别过程见图5。典型的特征级融合识别过程见图5。参考特征比对分数决策输出结果呈现攻击检测采集样本1移动设备侧采集样本特征项提取n特征融合a)移动设备侧同时采集或依次采集样本n(n≥2),采集方式同注册时的采集方式相对应；c)分别针对采集的生物特征样本分别提取生物特征项1、生物特征项n;e)将提取的多模态生物特征项与存储在特征存储模块中的对应的一个或多个参考进行特征比f)根据比对分数进行识别决策并输出识别结果。注销过程通常包含如下阶段：b)在生物特征存储模块中删除与待注销用户关联的全部生物特征参考，并在多模态识别系统中删除待注销用户的身份标识；c)结束注销过程。典型的分数级融合注册过程见图6。典型的分数级融合注册过程见图6。早现攻山检测存储参考关联标识1关联标识呈现攻出检测1采集样本n特征项提取特征项提取1a)分别移动设备侧同时采集或依次采集样本1和样本n(n≥2);6GB/T37036.7—2023c)分别针对采集的生物特征样本提取生物特征项；d)分别将该生物特征项存储在存储模块中作为生物特征参考，并与用户身份标识关联。典型的分数级融合识别过程见图7。质量判断质量判断参考采集样本1采集样本决策输出结果特征项提取1特征比对1特征比对r分数h识别过程通常包含如下阶段：a)移动设备侧同时采集或依次采集样本1和样本n(n≥2),采集方式同注册时的采集方式相c)分别针对采集的生物特征样本提取生物特征项；d)将提取的生物特征项与存储在特征存储模块中对应的一个或多个生物特征参考进行比对，分f)将分数同阈值比较，进行识别决策并输出识别结果。注销过程通常包含如下阶段：a)启动注销过程；b)在生物特征存储模块中删除与待注销用户关联的全部生物特征参考，并在多模态识别系统中删除待注销用户的身份标识；c)结束注销过程。典型的决策级融合注册过程见图8。7GB/T37036.7—2023质量判断质量判断呈现攻击检测1质量判断呈现攻击检测n移动设备侧采集样本1移动设备侧采集样本n存储参考关联标识1存储参考关联标识》特征项提取1特征项提取A图8决策级融合注册过程注册过程通常包含如下阶段：a)移动设备侧同时采集或依次采集样本1和样本n(n≥2)(样本如人脸图像、指纹图像等);b)分别对每个采集过程进行样本质量判断，并进行呈现攻击检测；c)分别对采集的生物特征样本分别提取生物特征项；d)将生物特征项存储在特征存储模块中作为生物特征参考，并与身份标识关联。典型的决策级融合识别过程见图9。典型的决策级融合识别过程见图9。参考1分数1特征比对1输出结果分数集样本1集样本n质量判断特征项提取图9决策级融合识别过程识别过程通常包含如下阶段：a)移动设备侧采集或依次采集样本1和样本n(n≥2),采集方式同注册时的采集方式相对应；b)分别对每个采集过程进行质量判断，并进行呈现攻击检测；c)对采集的生物特征样本提取生物特征项；d)将提取的生物特征项与存储在特征存储模块中对应的一个或多个用户生物特征参考进行比e)将每个比对分数分别同相应阈值比较，输出n(n≥2)个识别结果；f)将n(n≥2)个识别结果进行融合(比如与、或),生成最终的识别决策结果并输出。注销过程通常包含如下阶段：a)启动注销过程；b)在生物特征存储模块中删除与待注销关联的全部生物特征参考，并在多模态识别系统中删除待注销用户的身份标识；c)完成后结束注销过程。8GB/T37036.7—20236功能要求应符合GB/T37036.1—2018第6章的要求，包括但不限于：c)多模态识别系统服务提供方宜支持对错误接受率和错误拒绝率等性能指标的设定；d)宜支持对登记时间、识别时间和呈现攻击检测准确率等性能指标进行设定。要求包括但不限于：b)应支持用户登记多模态模板到存储模块中；c)应支持用户删除已登记在生物特征存储模块中的生物特征模板；特征比对失败后的处理机制；e)宜支持用户、多模态识别系统管理员用户等不同用户使用权限，在多模态融合识别中的采集、比对与存储等模块中分别具有相应的权限管理机制。a)登记过程中的成功或失败事件；b)识别过程中的成功或失败事件；c)注销过程中的成功或失败事件；d)多模态模板更新等。有效时间等。多模态特征采集模块应提供多模态特征数据采集与传输的功能。涉及某种具体生物特征模态时，其要求应相应地符合GB/T37036.2—2019、GB/T37036.3—2019、GB/T37036.4—2021、GB/T37036.5—2023、GB/T37036.6—2022的相关多模态特征存储模块功能要求包括但不限于：a)应支持将登记的用户多模态特征模板与该用户的身份标识进行关联；c