T-CQJR 006-2023 银行业便民服务 方言智能服务技术要求

ICS03.060A11团Bankingconvenienceservice—Intelligentdialectservice—TecrequirementT/CQJR006—2023前言 II III 12规范性引用文件 13术语、定义和缩略语 14方言智能服务系统通用功能框架 25语音交互界面要求 25.1语音采集 25.2语音播报 35.3输入输出 35.4环境噪声适应能力 35.5语种适应能力 36数据资源要求 36.1音频数据 36.2文本数据 37前端处理要求 37.1语音唤醒 47.2声源定位 47.3声纹识别 47.4语音增强 47.5格式转换 57.6重采样 58语音处理要求 58.1语音处理概述 58.2语音模块 58.3语义模块 68.4知识库模块 79服务渠道 79.1服务渠道概述 79.2服务渠道功能概述 79.3电话银行 79.4手机银行 79.5网点智能机具 89.6普惠金融服务点及离行式便民金融服务终端 8参考文献 9T/CQJR006—2023本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本文件由重庆农村商业银行股份有限公司提出。本文件由重庆市金融学会归口。本文件起草单位：重庆农村商业银行股份有限公司、浙江网商银行股份有限公司、重庆富民银行股份有限公司、马上消费金融股份有限公司。本文件主要起草人：周期律、田成志、郑力、王超、游佳川、陆碧波、晏东、王卫、杨莹莹、高砚、刘志强。T/CQJR006—2023“十四五”规划纲要提出要“优先发展农业农村，全面推进乡村振兴”，大量农村、老年人群不会上网、不会使用智能手机，在出行、就医、消费等日常生活中遇到不便，无法充分享受智能化服务带来的便利，“数字鸿沟”问题日益凸显，中国人民银行《金融科技发展规划（2022-2025年）》明确“公平普惠”的基本原则，提出合理运用金融科技手段“弥合地域间、群体间、机构间的数字化鸿沟，让金融科技发展成果更广泛、更深入、更公平地惠及广大人民群众”，2022年《中国银保监会办公厅关于银行业保险业数字化转型的指导意见》提出“推进个人金融服务数字化转型”“加强大字版、语音版、民族语言版、简洁版等应用软件功能建设”。通过自然语言交互为社会各群体，尤其是农村地区和中老年客群，提供无障碍金融服务，是打通普惠金融最后一公里，助力乡村振兴战略的有效途径。全国各地方言种类众多，通常分为十大方言：官话方言、晋方言、吴方言、闽方言、客家方言、粤方言、湘方言、赣方言、徽方言、平话土话。各方言区内又分布着若干次方言和许多种“土语”。其中使用人数最多的官话方言可分为东北官话、北京官话、冀鲁官话、胶辽官话、中原官话、兰银官话、江淮官话、西南官话八种次方言。在复杂的方言区内，次方言可再分为“方言小片”，明确到某市、某县、某镇、某村。在方言使用率高的地区供给数字普惠金融服务，需要解决方言识别问题，针对地方方言进行适配，提供特色化方言智能语音服务。本文件在考虑上述情况的基础上，给出了银行业金融机构方言智能服务技术要求。1T/CQJR006—2023银行业便民服务方言智能服务技术要求本文件规定了银行方言智能服务要求，包括语音交互界面、前端处理、语音处理、服务接口、银行服务渠道、数据资源等内容。本文件适用于银行方言智能服务相关工作，包括但不限于产品设计、软件研发、测试和运行维护、业务管理、系统管理、客户服务等。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T11460信息技术汉字字型要求和检测方法GB18030信息技术中文编码字符集GB/T21024—2007中文语音合成系统通用技术规范GB/T34083—2007中文语音识别互联网服务接口规范GB/T34145—2007中文语音合成互联网服务接口规范SJ/T11380—2008自动声纹识别（说话人识别）技术规范ISO21586金融服务参考数据银行产品服务（BPoS）描述规范（Referencedataforfinancialservices—Specificationforthedescriptionofbankingproductsorservices(BPoS)）3术语、定义和缩略语下列术语和定义适用于本文件。3.1方言智能服务intelligentdialectservice基于人工智能方言识别技术，在线上线下各服务渠道（3.4），向客户（3.3）提供银行产品服务（3.2）。3.2银行产品服务bankingproductorserviceBPoS供应商为满足客户的金融需求或与金融相关的需求而向客户(3.3)提供的输出。[来源：ISO21586:2020,3.3]3.3客户customer期望获得，或已经获得某BPoS(3.2)（即银行产品或银行服务）的个人或组织。[来源：ISO21586:2020,3.5]2T/CQJR006—20233.4服务渠道servicechannel提供方言智能服务（3.1）的电子银行渠道，包括电话银行、手机银行、自助机具等。4方言智能服务系统通用功能框架方言智能服务系统（以下简称系统）包括语音交互界面、前端处理、语音处理、服务接口、银行服务渠道、银行金融业务处理、数据资源等功能单元，系统宜在金融机构本地部署，其中：a)语音交互界面提供系统与人直接进行语音交互的人机界面，包括语音信号输入、输出以及由前端处理、语音处理支撑的语音能力；b)数据资源包括系统处理的音频数据和文本数据；c)前端处理提供语音唤醒、声源定位、声纹识别、语音增强、格式转换、重采样等功能；d)语音处理提供语音模块、语义模块、知识库模块对语音的单独处理及联动调优；e)服务接口提供外部设备/设施调用系统语音服务的接口；f)银行金融业务处理对语音处理结果转换为对应的应用指令并反馈业务响应结果；g)银行服务渠道包括电话银行、手机银行、网点智能机具、便民金融服务终端等电子服务渠道。图1方言智能服务系统通用功能框架5语音交互界面要求5.1语音采集系统应通过传声器或者麦克风阵列等具备语音采集能力的拾音设备对语音进行采集；宜根据不同的拾音距离，提供近场拾音和/或远场拾音中的一种。并满足如下要求：3T/CQJR006—2023——通过手机银行APP、直销银行APP等移动金融客户端应用服务渠道采集语音应征得客户同意，并且仅在提供服务时进行语音采集；——通过网点智能柜员机、离行式便民金融服务终端等智能机具服务渠道采集语音，系统可尽量复用现有机具和拾音设备，在现有设备不能满足服务需求时，应新增拾音设备。5.2语音播报系统应通过音频播放设备对语音进行播报，满足以下要求——语音播报宜同步提供播报文本显示，供客户核对业务办理信息；——应支持播放语音所需的性能要求，如音频格式、带宽等；——支持语音播放调节功能，能够对语音播放速度、音量等进行调节。5.3输入输出系统应支持中文普通话及地方方言输入输出。5.4环境噪声适应能力系统应在银行营业网点、离行式便民金融服务终端等服务渠道正常环境噪音下能进行语音交互，确保人机交互可用。5.5语种适应能力系统可由低到高提供以下几个等级普通话/方言适应能力，宜支持c）中适应能力。a)在发起语音交互时，由客户选择接受方言或普通话服务；b)系统自动判断客户使用方言/普通话，提供相应语种服务；c)系统自适应提供方言/普通话服务，支持客户方言/普通话混用。6数据资源要求6.1音频数据系统音频数据主要用于语音识别和语音合成，要求如下：——宜采集地方方言音频数据，训练方言识别模型，或者在方言区、次方言通用模型基础上，采集地方方言音频数据进行增量训练；——在银行金融机构内部场景采集的音频数据宜在行内本地存储；——语音识别的输入音频数据格式应符合GB/T34083—2017中表1的要求；——语音合成的输出音频数据格式应符合GB/T34083—2017中表1的要求。6.2文本数据系统的文本数据主要用于各功能单元之间的信息传输、交换和共享，要求如下：——应与具体操作系统和平台无关，并且可扩展；——宜是结构化数据，便于系统处理；——中文编码字符应符合GB18030的规定，并依据GB/T11460进行检测；——中文语音合成数据交换格式应符合GB/T21024—2007中第5章的要求。7前端处理要求4T/CQJR006—20237.1语音唤醒7.1.1命令字唤醒——系统应支持使用预先定义的命令字来对系统进行语音唤醒；——系统宜支持普通话和方言命令字语音唤醒；——不同银行服务渠道预定义语音唤醒命令字宜保持一致。7.1.2自定义唤醒命令字在手机银行等客户自有设备服务渠道，系统宜支持客户自定义语音唤醒命令字。7.1.3多唤醒命令字系统宜支持使用不同命令字进行语音唤醒；可根据指定的唤醒命令字进入对应的业务办理状态或模式。7.1.4多音频流监听系统在进行语音唤醒时，应支持同时监听多个音频流。7.2声源定位系统应支持通过对声源的平面角、方位角和声源距离的计算，来对发声源进行定位。7.3声纹识别7.3.1一般要求系统应支持下列声纹识别功能：——文本相关的声纹识别；——文本无关的声纹识别；——指定文本的声纹识别；——声纹模型训练；——声纹模型自适应；——声纹确认；——声纹辨认；——声纹检出；——声纹追踪；——语言相关的声纹识别；——语言无关的声纹识别；上述功能描述和要求应符合SJ/T11380—2008第3章的要求。7.3.2声纹文本获取系统应支持获取指定文本音频库或自定义文本音频库，用于声纹模型训练、声纹模型自适应、声纹确认和声纹辨认。7.3.3声纹辅助身份认证在满足法律法规和监管要求的前提下，可通过声纹识别辅助客户身份认证。7.4语音增强7.4.1噪声抑制5T/CQJR006—2023系统应支持对输入语音中的背景噪声进行抑制，提高语音的信噪比。7.4.2混响消除系统应支持对输入语音中的晚期混响进行抑制，提升语音信号的清晰度和可懂度。7.5格式转换系统应支持将音频的格式转换到另外一种格式，以满足语音处理的要求。7.6重采样系统应支持改变数字语音信号的采样率，以满足语音处理的要求。8语音处理要求8.1语音处理概述系统宜联动语音、语义、知识库模块，对语音识别进行联动调优，提升方言识别准确率。8.2语音模块8.2.1客户语音识别要求系统宜支持下列客户语音识别：——使用普通话；——使用地方方言；——普通话和地方方言混用；——使用带有方言口音的普通话；8.2.2语音识别模型官话方言等与普通话相近的地方方言，宜使用“普通话—方言”混合模型，与普通话差异较大的地方方言宜使用“先分类—后识别”分类识别模型。8.2.3语音识别功能系统应支持下列全部或者大部分语音识别功能：——自定义语法；——个性化识别；——识别结果多候选；——自定义热词；——自定义同义词库；——自定义错别字词库；——识别结果进阶；——语音信息识别；——说话人信息识别。6T/CQJR006—20238.2.4话者分流在理财销售双录等双人对话或多人会话场景下，系统应支持按说话人将语音信息分流。8.2.5远近场音频处理涉及客户个人信息、金融交易信息的服务场景，应使用近场音频处理，避免客户信息泄露；8.2.6语音识别方式系统应支持关键字识别、命令字识别及连续语音识别。8.2.7语音合成类型系统宜支持下列一种或多种类型语音合成：——普通话语音合成；——方言语音合成；——男声语音合成；——女声语音合成；——多种音色语音合成；——多种音调语音合成；——多种语速语音合成；——多种语气语音合成。8.2.8语音合成功能系统应支持下列全部或大部分语音合成功能：——流式语音合成；——多种合成文本编码；——自定义分词；——自定义读音；——合成文本位置信息；——文本分词和拼音信息；——音频时间信息。上述功能描述和要求应符合GB/T34145—2017中4.2和4.3的要求。8.3语义模块8.3.1自定义语义词典系统能支持自定义语义词典。8.3.2自定义语义库系统能支持自定义语义库。8.3.3语义联动调优系统宜支持通过模糊识别、语义抽取、语义排序等方式纠正方言语音识别错误，理解用户意——模糊识别，系统应能够处理错别字、同义字、多字少字问题。——语义抽取，系统在交互过程中，应抽取语义要素和用户的关键意图。——语义排序，系统能在语义理解结果中给出多个排序后的理解结果，供用户进行选择或二次确认。7T/CQJR006—20238.4知识库模块8.4.1知识类型应支持以下类型知识：——文库或/和文档；——FAQ(常见问题解答)；——百科类知识图谱。8.4.2知识构建方法可支持以下几个等级知识构建方法，宜采用b）、c）知识构建方法：a)人工知识构建；b)半自动知识构建，在执行自动知识抽取后，由人工校对录入；c)全自动知识构建。8.4.3知识库联动调优在方言语音识别效果不佳时，可以通过知识检索引导客户，明确客户意图。9服务渠道9.1服务渠道概述金融机构应宜以下一个或多个服务渠道提供方言智能服务：——电话银行；——手机银行；——网点智能机具；——普惠金融服务点及离行式便民金融服务终端。9.2服务渠道功能概述各服务渠道宜提供以下一项或多项方言智能服务功能：——方言智能导航（IVR），客户可通过方言语音命令导航至所需服务；——方言智能填单，客户可通过方言语音输入文本信息，系统自动识别填写；——方言对话交互，客户可使用方言语音与系统进行自然语言交互，支持单轮问答、多轮对话；——方言智能控制，客户可使用方言控制交互UI界面、物联网设备等；——方言播报，可使用方言播报业务办理信息、人机交互信息。9.3电话银行电话银行渠道方言服务宜满足如下要求：——宜同时提供方言智能语音服务及按键式服务供客户选择；——宜提供方言智能导航、方言智能填单、方言对话交互功能；——客户可通过方言语音命令切换到人工服务；——宜在客户使用方言智能填单输入身份证号、银行卡号、交易金额等信息后，语音播报填单信息，由客户确认；——不应使用语音输入交易密码等敏感信息。9.4手机银行手机银行等移动金融客户端应用渠