2020-2021智能硬件用户体验指标及分类研究课件

2020-2021智能硬件用户体验指标及分类研究报告2020-2021智能硬件用户体验指标及分类研究报告11、智能硬件指标及分类研究背景及方案2、智能硬件用户体验评价通用指标体系3、智能硬件产品分类及重点产品特征梳理4、具体产品指标建设及后续报告计划目录1、智能硬件指标及分类研究背景及方案目录2目前市场上智能硬件普及程度开始提升，且产品种类更趋多样化，加上消费升级趋势下，智能硬件作为优质产品更受青睐，市场稳步扩大。数据显示，中国智能硬件市场发展较快，2020年市场规模预计超万亿元。5132.76430.41076725%67%70%60%50%40%30%20%10%0%80%02000400060008000100001200020182020E但由于缺乏完善的市场质量监督体系，各参与方资质差异较大，客观上导致市场上智能设备用户体验水平参差不齐，产品质量和用户体验成为下一阶段竞争重点。中国智能硬件市场规模及预测2019市场规模（亿元）增速目前市场上智能硬件普及程度开始提升，且产品种类更趋多样化，加3交互方 提供主式 要服务使用场

智能化景 要求研究背景—智能硬件形态多样性和特征差异性智能硬件覆盖多个领域，产品形态丰富，使用目标及场景千差万别。不同产品用户在使用过程中对产品的功能/服务需求、智能化程度的要求，以及交互方面存在很大差异。因此，在进行具体产品指标研究时，还需充分考虑各产品的特征差异。综合文献研究及以往测评经验，建议重点从如下4个方面进行归纳、分析：1、使用场景2、提供服务3、交互方式4、智能化要求交互方 提供主式 要服务使用场 智能化研究背景—智能硬件形4智能家居智能可穿戴行业智能产品智能音箱智能手表智能交通智能摄像头智能电视/盒子智能传感器……VR产品……智能化要求交互方式 提供服务使用场景智能硬件类别典型产品分类研究智能硬件用户体验通用评价体系构建分类特征梳理、产品特征梳理智能医疗……具体业务指标体系及测试脚本（智能音箱、摄像头、门铃、儿童手表）主要工作及成果构建通用指标经典产品体验评价模型智能硬件产品体验影响因素智能硬件用户体验通用评价体系智能家居智能可穿戴行业智能产品智能智能智能交通智能摄智能电51、智能硬件指标及分类研究背景及方案2、智能硬件用户体验评价通用指标体系3、智能硬件产品分类及重点产品特征梳理4、具体产品指标建设及后续报告计划1、智能硬件指标及分类研究背景及方案6评估智能硬件的用户体验质量主要是评估：特定用户在特定使用场景下，与智能硬件产品进行典型任务操作时，是否达到有效性、效率、安全性、智能性和情感愉悦的预期目标。基于此我们提出了如下智能硬件用户体验质量评价模型该模型是结合IOS9241-11关于用户体验的定义及智能硬件产品质量特点制定的。影响智能硬件产品体验质量的要素包括：

用户（

经验、期望）、产品、使用场景。其中产品因素是影响用户体验的最重要的因素，包括：智能硬件、管理APP及操作系统、云端智能能力以及人机交互质量。评估智能硬件的用户体验质量主要是评估：特定用户在特定使用场景7智能硬件用户体验评价通用指标体系为科学评价智能硬件产品用户体验水平，中国移动研究院用户体验研究中心基于上述模型，结合智能硬件产品测评经验，提出了智能硬件体验通用指标体系，用以评估智能硬件的用户体验质量，包含硬件质量、人机交互、云端智能、管理软件4大一级维度，26个二级维度，175个测评指标智能硬件体验评价通用指标体系语音交互软件交互触控交互硬件输入能力硬件处理能力硬件输出能力硬件外观云端内容资源云端服务能力覆盖云端服务质量功能操作界面布局硬件质量人机交互云端智能管理软件智能硬件用户体验评价通用指标体系为科学评价智能硬件产品用户体81、智能硬件指标及分类研究背景及方案2、智能硬件用户体验评价通用指标体系3、智能硬件产品分类及重点产品特征梳理4、具体产品指标建设及后续报告计划1、智能硬件指标及分类研究背景及方案9物理手柄/按键/遥控触摸触摸屏语音/视觉语音/图像/手势识别自主大脑无感控制交互方式智能电视盒子（内容型）智能门铃/门锁（功能型）智能传感器（功能型）智能音箱（内容/平台型）智能机器人（平台/服务型）智能后视镜（功能/内容型）智能摄像头（功能型）智能手表（功能型）智能手环（功能型）VR类产品（内容型）固定场景可移动特定场景全场景使用场景根据智能硬件产品的交互方式、使用场景、智能化程度及提供服务4个维度，针对智能家居、智能可穿戴典型智能硬件产品开展具体评价指标研究及测评典型智能硬件产品分类物理触摸语音/视觉自主大脑交互方式智能电视盒子（内容型）智10固定场景可移动特定场景全场景场景分类特征影响因素建议关注指标固定场景1、网络环境较稳定，通常使用网线或固定wifi2、通常有稳定的电源供给……网络本身的稳定性、速度多用户使用，识别、管理……外观质量（与环境的匹配性）配件质量（如电源线长度）……可移动特定场景1、网络环境不固定稳定，随着场景的变化，可能会在各种网络之间切换2、不一定有稳定的电源供给，可能需要电池……对网络种类的支持、切换剩余电量……支持网络制式的种类、网络切换时延典型操作流量消耗……移动场景1、网络环境不稳定，随着场景的变化，会经常在不同网络之间切换2、没有稳定的电源供给，需要电池供电……对网络种类的支持、切换剩余电量环境变化……外观质量支持网络制式的种类……固定场景可移动特定场景全场景场景分类特征影响因素建议关注指标11物理手柄/按键/遥控触摸触摸屏语音/视觉语音/图像/手势识别自主大脑无感控制交互方式分类影响因素建议关注指标物理交互1、物理按键位置2、物理按键的操作反馈质量……按键易操作性操作有效性……触控交互1、与智能硬件配合的管理APP2、智能硬件自身系统软件……导航清晰性架构合理性……语音交互1、硬件本身的拾音质量2、硬件及系统的语音识别质量……远场识音成功率语音识别抗干扰性……手势/图像交互1、硬件本身的图像采集质量2、硬件及系统的手势/图像识别质量……手势/图像识别成功率手势/图像识别时延……物理触摸语音/视觉语音/图像/手势识别自主大脑交互方式分类影12功能型内容/娱乐型平台/入口型提供服务分类特征影响使用体验因素建议关注指标功能型1、产品功能明确，用户需求一般稳定且可预测2、需长时间连接稳定的网络和电源供给……网络稳定性、速度产品功能、性能是否稳定、易用……功能完备性：是否能满足使用需求稳定性：能稳定提供功能……内容型1、联网才可正常提供服务，对网络依赖性强2、聚合多个内容提供方资源……网络速率内容运营质量……内容聚合能力内容丰富性……平台型1、入口型产品，使用门槛低，环境适应性强，开放性好2、产品用户量大，对服务提供商吸引力高；为各种服务接入，提供管理标准……接入服务的丰富性交互体验……产品稳定性可提供服务端的丰富性……功能型内容/娱乐型平台/入口型提供服务分类特征影响使用体验因13人控制人机协作机器自主决策智能化水平产品特点影响使用体验因素建议关注指标联网感知类产品1、产品功能单一2、连接稳定的网络……网络稳定性传感器灵敏程度……传感功能有效性产品灵敏度……搭载部分人工智能的硬件产品1、产品功能较为丰富2、交互通道多样化……资源的共享自然语言识别能力……语音模糊识别能力智能推荐能力……强智能产品1、产品智能化水平较高2、能较为准确的理解用户指令及意图……对用户指令理解的准确性及完成程度……产品外观自主决策能力……人控制人机协作机器自主决策智能化水平产品特点影响使用体验因素141、使用场景方面在远程操控方面：音箱上加入摄像头后，为视频通话等操作提供了极大便利。除关注功核心功能覆盖，还需重点关注音视频通话操作；特定环境下的移动场景：需考虑在家庭环境下，可能会将音箱挪换使用位置的影响。2、交互方式方面：语音交互为主，重点关注语音交互方面指标；有屏幕音箱，可提供更多服务内容，需关注屏幕信息呈现；音箱作为家庭用产品，要照顾不同人群的使用差异，如儿童使用时，语言逻辑性更差，语音指令输入更慢，需重点关注。3、提供服务及智能化要求方面音箱作为内容呈现载体，应重点关注音视频内容的丰富程度；音箱作为互联网服务的入口，应重点关注互联网服务的有效性。重点产品特征梳理—智能音箱1、使用场景方面2、交互方式方面：3、提供服务及智能化要求方151、在使用场景方面（固定场景）在使用群体上：由于枪机型摄像头为半专业级摄像头，针对的用户也分为家用及商用两种类型，需关注家用环境下的监控画面质量等指标外，还需关注针对于室外的环境因素，以满足商用场景下对于突发情况的监控需求；在使用环境上：有安装于室外的情况，需关注摄像头的防尘防水类方面能力。同时还需要考虑安装室外机及调试操作。2、在交互方式方面（

APP操作为主、辅以动作、声音识别）a)

枪机摄像头的主要交互方式为通过App查看或控制摄像头，应该重点关注监控页面的设计。3、在提供服务及智能化要求方面（功能服务+低智能化）考虑到摄像头需要针对于监控场景进行实时拍摄录制，所以对于存储功能和服务需要重点关注；智能识别、报警警告提示是家庭安防摄像头重要的服务，应对相关指标加以关注。重点产品特征梳理—智能摄像头（室外枪机）1、在使用场景方面（固定场景）2、在交互方式方面（APP操161、使用场景方面因考虑到儿童在移动场景下使用，关注定位、联网等方面；因考虑到特殊的使用人群，关注手表安全性以及佩戴等方面；考虑到有家长远程监控的需求，重点关注监控画面和监控质量等方面。2、交互方面因考虑到有家长监控的需要，应在管理软件方面，重点关注远程监控、定位等；因考虑到有音视频通话的需要，应在管理软件方面，关注消息发送（接收）；因考虑到有硬件SOS呼叫的操作，应在硬件交互方面，重点关注。3、提供的服务及智能化要求方面考虑到儿童手表特定的目标人群，所能进行的操作有限，对手表的部分设置功能放在了管理软件端，因此，重点关注管理软件的功能；考虑到儿童手表有辅助学习、满足娱乐的需要，应在云端智能方面侧重儿童教育及儿童娱乐内容的关注。重点产品特征梳理—智能儿童手表1、使用场景方面2、交互方面3、提供的服务及智能化要求方面171、在使用场景方面（固定场景）考虑到智能门铃（门外设备）使用的环境，受光线影响较大，因此需要关注门铃设计在不同光线环境下的表现；考虑到智能门铃属于固定场景类需要安装使用的产品，需要更多的关注产品的安装、续航能力等；考虑到产品安装在户门外，需要关注产品的防盗性设计；对讲是智能门铃的重点功能，需关注音频输出能力。2、在交互方式方面（

APP操作为主）a)

智能门铃的主要交互方式为通过APP查看实时监控、进行视频对讲、查看事件通知及其他相关设置功能，应该重点关注。3、在提供服务及智能化要求方面（功能服务+低智能化）智能识别可以提供更好的安防服务，需关注图像识别等相关智能方面；考虑到智能门铃的安防定位，需要重点关注异常或事件时产品表现；考虑到监控画面的存储与安全，还需重点关注存储方面。重点产品特征梳理—智能门铃1、在使用场景方面（固定场景）2、在交互方式方面（APP操181、智能硬件指标及分类研究背景及方案2、智能硬件用户体验评价通用指标体系3、智能硬件产品分类及重点产品特征梳理4、具体产品指标建设及后续报告计划1、智能硬件指标及分类研究背景及方案19制定具体产品指标及测评脚本智能硬件体验通用评价体系硬件质量人机交互云端智能管理软件结合产品特征和实际使用场景，制定可执行的测评脚本智能摄像头体验评价指标体系智能音箱体验评价指标体系智能儿童手表体验评价指标体系智能门铃体验评价指标体系……根据产品的分类和差异化特征，在通用指标框架中选取、裁剪和补充具体产品测评指标硬件质量测评脚本模糊识别测评脚本内容覆盖测评脚本服务覆盖测评脚本基础性能测评脚本语义理解测评脚本多轮对话测评脚本管理APP测评脚本……制定具体产品指标及测评脚本智能硬件体验通用评价体系硬件质量人20THANKSTHANKS212020-2021智能硬件用户体验指标及分类研究报告2020-2021智能硬件用户体验指标及分类研究报告221、智能硬件指标及分类研究背景及方案2、智能硬件用户体验评价通用指标体系3、智能硬件产品分类及重点产品特征梳理4、具体产品指标建设及后续报告计划目录1、智能硬件指标及分类研究背景及方案目录23目前市场上智能硬件普及程度开始提升，且产品种类更趋多样化，加上消费升级趋势下，智能硬件作为优质产品更受青睐，市场稳步扩大。数据显示，中国智能硬件市场发展较快，2020年市场规模预计超万亿元。5132.76430.41076725%67%70%60%50%40%30%20%10%0%80%02000400060008000100001200020182020E但由于缺乏完善的市场质量监督体系，各参与方资质差异较大，客观上导致市场上智能设备用户体验水平参差不齐，产品质量和用户体验成为下一阶段竞争重点。中国智能硬件市场规模及预测2019市场规模（亿元）增速目前市场上智能硬件普及程度开始提升，且产品种类更趋多样化，加24交互方 提供主式 要服务使用场

智能化景 要求研究背景—智能硬件形态多样性和特征差异性智能硬件覆盖多个领域，产品形态丰富，使用目标及场景千差万别。不同产品用户在使用过程中对产品的功能/服务需求、智能化程度的要求，以及交互方面存在很大差异。因此，在进行具体产品指标研究时，还需充分考虑各产品的特征差异。综合文献研究及以往测评经验，建议重点从如下4个方面进行归纳、分析：1、使用场景2、提供服务3、交互方式4、智能化要求交互方 提供主式 要服务使用场 智能化研究背景—智能硬件形25智能家居智能可穿戴行业智能产品智能音箱智能手表智能交通智能摄像头智能电视/盒子智能传感器……VR产品……智能化要求交互方式 提供服务使用场景智能硬件类别典型产品分类研究智能硬件用户体验通用评价体系构建分类特征梳理、产品特征梳理智能医疗……具体业务指标体系及测试脚本（智能音箱、摄像头、门铃、儿童手表）主要工作及成果构建通用指标经典产品体验评价模型智能硬件产品体验影响因素智能硬件用户体验通用评价体系智能家居智能可穿戴行业智能产品智能智能智能交通智能摄智能电261、智能硬件指标及分类研究背景及方案2、智能硬件用户体验评价通用指标体系3、智能硬件产品分类及重点产品特征梳理4、具体产品指标建设及后续报告计划1、智能硬件指标及分类研究背景及方案27评估智能硬件的用户体验质量主要是评估：特定用户在特定使用场景下，与智能硬件产品进行典型任务操作时，是否达到有效性、效率、安全性、智能性和情感愉悦的预期目标。基于此我们提出了如下智能硬件用户体验质量评价模型该模型是结合IOS9241-11关于用户体验的定义及智能硬件产品质量特点制定的。影响智能硬件产品体验质量的要素包括：

用户（

经验、期望）、产品、使用场景。其中产品因素是影响用户体验的最重要的因素，包括：智能硬件、管理APP及操作系统、云端智能能力以及人机交互质量。评估智能硬件的用户体验质量主要是评估：特定用户在特定使用场景28智能硬件用户体验评价通用指标体系为科学评价智能硬件产品用户体验水平，中国移动研究院用户体验研究中心基于上述模型，结合智能硬件产品测评经验，提出了智能硬件体验通用指标体系，用以评估智能硬件的用户体验质量，包含硬件质量、人机交互、云端智能、管理软件4大一级维度，26个二级维度，175个测评指标智能硬件体验评价通用指标体系语音交互软件交互触控交互硬件输入能力硬件处理能力硬件输出能力硬件外观云端内容资源云端服务能力覆盖云端服务质量功能操作界面布局硬件质量人机交互云端智能管理软件智能硬件用户体验评价通用指标体系为科学评价智能硬件产品用户体291、智能硬件指标及分类研究背景及方案2、智能硬件用户体验评价通用指标体系3、智能硬件产品分类及重点产品特征梳理4、具体产品指标建设及后续报告计划1、智能硬件指标及分类研究背景及方案30物理手柄/按键/遥控触摸触摸屏语音/视觉语音/图像/手势识别自主大脑无感控制交互方式智能电视盒子（内容型）智能门铃/门锁（功能型）智能传感器（功能型）智能音箱（内容/平台型）智能机器人（平台/服务型）智能后视镜（功能/内容型）智能摄像头（功能型）智能手表（功能型）智能手环（功能型）VR类产品（内容型）固定场景可移动特定场景全场景使用场景根据智能硬件产品的交互方式、使用场景、智能化程度及提供服务4个维度，针对智能家居、智能可穿戴典型智能硬件产品开展具体评价指标研究及测评典型智能硬件产品分类物理触摸语音/视觉自主大脑交互方式智能电视盒子（内容型）智31固定场景可移动特定场景全场景场景分类特征影响因素建议关注指标固定场景1、网络环境较稳定，通常使用网线或固定wifi2、通常有稳定的电源供给……网络本身的稳定性、速度多用户使用，识别、管理……外观质量（与环境的匹配性）配件质量（如电源线长度）……可移动特定场景1、网络环境不固定稳定，随着场景的变化，可能会在各种网络之间切换2、不一定有稳定的电源供给，可能需要电池……对网络种类的支持、切换剩余电量……支持网络制式的种类、网络切换时延典型操作流量消耗……移动场景1、网络环境不稳定，随着场景的变化，会经常在不同网络之间切换2、没有稳定的电源供给，需要电池供电……对网络种类的支持、切换剩余电量环境变化……外观质量支持网络制式的种类……固定场景可移动特定场景全场景场景分类特征影响因素建议关注指标32物理手柄/按键/遥控触摸触摸屏语音/视觉语音/图像/手势识别自主大脑无感控制交互方式分类影响因素建议关注指标物理交互1、物理按键位置2、物理按键的操作反馈质量……按键易操作性操作有效性……触控交互1、与智能硬件配合的管理APP2、智能硬件自身系统软件……导航清晰性架构合理性……语音交互1、硬件本身的拾音质量2、硬件及系统的语音识别质量……远场识音成功率语音识别抗干扰性……手势/图像交互1、硬件本身的图像采集质量2、硬件及系统的手势/图像识别质量……手势/图像识别成功率手势/图像识别时延……物理触摸语音/视觉语音/图像/手势识别自主大脑交互方式分类影33功能型内容/娱乐型平台/入口型提供服务分类特征影响使用体验因素建议关注指标功能型1、产品功能明确，用户需求一般稳定且可预测2、需长时间连接稳定的网络和电源供给……网络稳定性、速度产品功能、性能是否稳定、易用……功能完备性：是否能满足使用需求稳定性：能稳定提供功能……内容型1、联网才可正常提供服务，对网络依赖性强2、聚合多个内容提供方资源……网络速率内容运营质量……内容聚合能力内容丰富性……平台型1、入口型产品，使用门槛低，环境适应性强，开放性好2、产品用户量大，对服务提供商吸引力高；为各种服务接入，提供管理标准……接入服务的丰富性交互体验……产品稳定性可提供服务端的丰富性……功能型内容/娱乐型平台/入口型提供服务分类特征影响使用体验因34人控制人机协作机器自主决策智能化水平产品特点影响使用体验因素建议关注指标联网感知类产品1、产品功能单一2、连接稳定的网络……网络稳定性传感器灵敏程度……传感功能有效性产品灵敏度……搭载部分人工智能的硬件产品1、产品功能较为丰富2、交互通道多样化……资源的共享自然语言识别能力……语音模糊识别能力智能推荐能力……强智能产品1、产品智能化水平较高2、能较为准确的理解用户指令及意图……对用户指令理解的准确性及完成程度……产品外观自主决策能力……人控制人机协作机器自主决策智能化水平产品特点影响使用体验因素351、使用场景方面在远程操控方面：音箱上加入摄像头后，为视频通话等操作提供了极大便利。除关注功核心功能覆盖，还需重点关注音视频通话操作；特定环境下的移动场景：需考虑在家庭环境下，可能会将音箱挪换使用位置的影响。2、交互方式方面：语音交互为主，重点关注语音交互方面指标；有屏幕音箱，可提供更多服务内容，需关注屏幕信息呈现；音箱作为家庭用产品，要照顾不同人群的使用差异，如儿童使用时，语言逻辑性更差，语音指令输入更慢，需重点关注。3、提供服务及智能化要求方面音箱作为内容呈现载体，应重点关注音视频内容的丰富程度；音箱作为互联网服务的入口，应重点关注互联网服务的有效性。重点产品特征梳理—智能音箱1、使用场景方面2、交互方式方面：3、提供服务及智能化要求方361、在使用场景方面（固定场景）在使用群体上：由于枪机型摄像头为半专业级摄像头，针对的用户也分为家用及商用两种类型，需关注家用环境下的监控画面质量等指标外，还需关注针对于室外的环境因素，以满足商用场景下对于突发情况的监控需求；在使用环境上：有安装于室外的情况，需关注摄像头的防尘防水类方面能力。同时还需要考虑安装室外机及调试操作。2、在交互方式方面（

APP操作为主、辅以动作、声音识别）a)

枪机摄像头的主要交互方式为通过App查看或控制摄像头，应该重点关注监控页面的设计。3、在提供服务及智能化要求方面（功能服务+低智能化）考虑到摄像头需要针对于监控场景进行实时拍摄录制，所以对于存储功能和服务需要重点关注；智能识别、报警警告提示是家庭安防摄像头重要的服务，应对相关指标加以关注。重点产品特征梳理—智能摄像头（室外枪机）1、在使用场景方面（固定场景）2、在交互方式方面（APP操371、使用场景方面因考虑到儿童在移动场景下使用，关注定位、联网等方面；因考虑到特殊的使用人群，关注手表安全性以及佩戴等方面；考虑到有家长远程监控