2024触觉反馈沉漫式娱乐的新形态白皮书

内容介绍 3什么是触觉? 4如何创建触觉体验? 4⼈类感知 5多样化的⽣态系统 6触觉的多种⽅法 7创建触觉体验的⽅法 7触觉标准化活动 9MPEG 10IETF和W3C 11IEEE 12ATSC 12KhronosGroup 13市场机会 14触觉增强，或真正沉浸式？ 14个⼈电⼦产品带来机遇 15视频潜⼒ 15XR：触觉的关键市场 16XR硬件开发. 17游戏触觉反馈. 19沉浸式娱乐. 21总结. 23介绍触觉（或称触感）展到视觉和听觉之外，为互联通信、体验和服务增添更多的深度和沉浸感。在2011年IEEE世界触觉⼤会上，预测到到2020年，先进的触觉功能将普遍可此，今天我们已经奠定了基础。和感官体验技术的产品⼴播或流式传输完全沉浸式体验将是可⾏的。以了解和⽀持全球范围内设备间沉浸式扩展现实和增强触觉内容的传递。触觉技术是什么触觉技术被定义为⼀系列通过应⽤振动、压⼒、运动以及在某些情况下热量等⼒量来传递触觉信息的技术，以重现触摸或⾝体刺激的感觉。1994年推出的AuraInteractor是最早的可穿戴触觉产品之⼀。它监视游戏中的⾳频信号的振动，如踢或打。1994年推出的AuraInteractor是最早的可穿戴触觉产品之⼀。它监视游戏中的⾳频信号的振动，如踢或打。当时被认为是商业成功，销售了超过40万台。⼊⼒反馈，主要是操纵杆和⽅向盘。触觉体验是如何产⽣的特定的感觉，或者产⽣施加在肢体和肌⾁上的⼒量。振动形式的触觉反馈。簧机构的⼩内部质量来产⽣振动。强⽤⼾在沉浸式娱乐活动中的体验。在虚拟现实（VR）应⽤中，振动执⾏器这些执⾏器经常与⼿指和⼿部跟踪技术配对⽤于VR⼿套的实现。对于需要更⼤⼒量的应⽤，可以使⽤诸如线圈⻢达或压电执⾏器等组件。通常⽤于创造触觉的⽰例振触执⾏器。会在⽪肤上感觉到，⽽是直接或间接地作⽤于肌⾁和肌腱。抵抗性反馈通常⽤于外⻣骼和⼿套中，以阻碍肢体或⼿指在虚拟现实中的运动。抵抗性⼒通常⽤于模拟操作⼿势，并具有⾼度。有效提升⼿部交互的真实感。主动⼒反馈通常⽤于游戏控制器和⼿持触觉设备量到⽤⼾的⾝体部位。这模仿了与虚拟物体的交互或模拟了与输⼊控制设备如⼒反馈⽅向盘或⻜⾏控制器）的真实交互。觉体验相⽐，运动感知的实施成本相对较⾼，通常保留给企业和商业应⽤。⼈类感知触觉刺激⼈类的体感系统，提供对周围环境的物理反馈。⼈类⾝体内基本上有四种类型的机械感受器。体。世界的物理体验。这些感受器统称为低阈值（或⾼灵敏度）即使是轻微的机械刺激也会引起它们产⽣感觉。⼈体内四种主要机械感受器，每种感受器共同作⽤以创造对环境的物理体验图⽚来源：国家医学实验室，https://www.ncbi.nl./此外，触觉可以进⼀步细分为两个主要类别。觉反应使⼤脑能够感知压⼒、触摸和质地。使⼤脑能够确定物体的⼤致⼤⼩和重量，以及相对于⾝体的位置。获得动觉反馈，从⽽⼈⼯再现这些感觉。⼀个多样化的⽣态系统果的TapticEngine等更精密的技术产⽣的振动存在显著差异。实际上，这意味着构建专为TapticEngine调整的体验的开发⼈员可能需要为另⼀种触觉实不投资于卓越的触觉性能。智能⼿机触觉组件：⼀加12（左）；iPhone15（右）触觉体验可以在整个⾝体上创造触感。MPEG-I触觉体验可以在整个⾝体上创造触感。MPEG-I触觉标准（ISO/IEC31）正在建⽴，以描述执的复制和适应MPEG-I场景描述标准（ISO/IEC23090-14）义使⽤数字化⾝来描述⽤MORGAN（MPEG原始参考⼏何化⾝中⽴）的参考类⼈化⾝模型以及包括触觉的交互框架多种触觉⽅法频⽂件中的特殊轨道，专⽤于播放触觉数据——这类似于⽤于驱动触觉引擎的⾮常低频的低⾳⾳轨⽤⼀致和兼容格式对触觉数据进⾏编码和解码的系统的过程有很⼤不同。值得注意的是，触觉的兴趣频率范围在零到800Hz其中低于5Hz的频率对动觉应⽤尤为重要“触觉的兴趣频率范围在零到800Hz之间”⼈体的机械感受器在平均2平⽅⽶的⽪肤表⾯积上分布不均，因此触觉信息的此编码可以优化以利⽤机械感受器在密度和类型上的独特属性创建触觉体验的⽅法当今市场上已经有⼏种触觉实现。戏中更富表现⼒地增强游戏性。iOS和Android都⽀持先进的触觉播放机制，但有点尴尬的是，它们采⽤不兼容的编码⽅案。苹果创建了他们专有的AHAP触觉效果解决⽅案，这种解决⽅态系统中运⾏。Android采⽤了略有不同的⽅法，具有⼀组预定义的振动效果会影响最终⽤⼾体验。有许多替代的⽅法⽤于触觉实现：I ersion的IVS汽⻋应⽤。HAPT触觉数据格式是⼀种供应商特定的⽅法，⽤于移动触觉⼴告。⾕歌通过专有扩展扩展了他们的OGG使得较新的设备能够解码⽂件中的触觉信息，同时保持与旧媒体播放器的向后兼容性。Meta提供了HapticsStudio和HapticsSDK，这两个软件解决⽅案允许开发者将触觉功能添加到MetaQuest产品中。游戏主机实现了先进的振动和动觉反馈;但是，它们使⽤专有的效果编码⽅法腾讯开发了他们⾃⼰的触觉格式，称为MTGPA（魔法腾讯游戏性能改进）。同样，软件⼯具在处理触觉⽅⾯⽬前⾮常多样化。性编辑套件。尽管有创意，⽬标是⼀样的...提供令⼈惊叹的切实的物理体验。然⽽，这种成⾏业标准。软件⼯具的⽰例包括Hapticlabs软件⼯具的⽰例包括HapticlabsStudio（左）⽤于移动设备;MetaHapticsStudio（中）⽤于XR;以及InterDigital的参考软件（右）向视频添加定时触觉图⽚来源：Hapticlabs；Meta，InterDigital/Technicolor结触觉⽣态系统。它结合了成员公司和⼏个标准组织的努⼒，包括MPEG、IEEE和KhronosGroup，确保它们融合在⼀起，制定出⼀致的触觉策略。结触觉⽣态系统。它结合了成员公司和⼏个标准组织的努⼒，包括MPEG、IEEE和KhronosGroup，确保它们融合在⼀起，制定出⼀致的触觉策略。这是⾏业在部署任何新技术的萌芽阶段都希望避免的情况。“领先的标准组织正在规定触觉体验的机制” 交付⽅⾯，MPEG和IETF正在描述编码、封装、传输和解码触觉数据的⽅法。同时，操作系统和平台要求的定义正在KhronosGroup和IEEE同时进⾏，得到参与触觉产业论坛的成员公司的协助。另外，⾼级电视系统委员会（ATSC）现触觉体验的可能性，旨在扩展沉浸感和参与度⽔平。组织正在努⼒实现触觉在端到端交付链中的标准化MPEG式⾄关重要，因此传感效果的共同描述是关键成功因素之⼀。2021年6⽉，MPEG应基于的参考架构，以及未来技术将基于的架构。“触觉现在已被确定为第⼀级媒体类型，将触觉提升⾄与⾳频和视频同等⽔平”从那时起，MPEG已将触觉作为被认可的“第⼀级”媒体类型，涵盖了所有ISO基本媒体⽂件格式（ISOBMFF）⽂件，其中包括⼴泛使⽤的3GP和p4视独⽴存在于ISOBMFF容器中，⽽⽆需伴随⾳频或视频。同时，媒体流应⽤中的触觉由MPEG-DASH的扩展处理。这使得流媒体服务提供商，如亚⻢逊Prie、Hulu和Netflix，能够以向后兼容的格式提供感官能⼒，⽽不会损害现有的⼯作流程。最近，对沉浸式媒体格式引起了关注，作为MPEG-I标准的⼀部分。MPEG-I实领域更简洁的⼴泛⽤例。2020年中成⽴了⼀个⼯作组，由InterDigital、Interhaptics、苹果等公司开何触觉效果；⼤多数振动触觉效果都包括在此⽅⾯。使用MPEG触觉和场景描述标准的感官沉浸式体验使用MPEG触觉和场景描述标准的感官沉浸式体验InterDigital展⽰了即将推出的MPEG-I标准在触觉和场景描述⽅⾯的能⼒。该演⽰是⼀种感官沉浸式体验，结合了虚拟现实头盔、触觉控制器和触觉⻢甲。在2023年互动媒体体验展和2024年世界移动通信⼤会上展⽰，这种体验是⼀个互动的卡丁⻋赛⻋游戏，与环境的互动触发空间化触觉反馈，呈现出增强的沉浸感。通过实施MPEG-I触觉和场景描述标准，并且仅使⽤这些标准设计这⼀演⽰，这项⼯作展⽰了这些系统的能⼒，并证实了通过MPEG⽣态系统产⽣的研究和标准化⼯作。InterDigital展⽰了MPEG-I的能⼒，展⽰了标准化⼯作的成果来源：IMX'23：2023年ACM国际互动媒体体验会议论⽂集，2023年6⽉和2024年2⽉的世界移动通信⼤会除了MPEG-I标准的其他基本元素，如点云压缩，⼯作组还建⽴了标准的另外三个部分。MPEG-I：第31部分涵盖了触觉编码的具体⽅法；MPEG-I：第32部分研究了触觉数据的传输，预计将在未来⼏年内发布建议；MPEG-I：第33部分描述了触觉的参考和符合软件。IETF和W3C互联⽹⼯程任务组（IETF）将触觉技术视为⼀种顶级媒体类型，并正在与MPEG和OpenXR的活动进⾏对⻬。在⼀致性⽅⾯，这将定义触觉技术作为未来如：haptics/p4：仅包含触觉轨道的p4⾳频/视频⽂件（例如，针对触觉⻢甲、腰带、⼿套等的触觉⽂件）video/p4：扩展到具有视频、⾳频和触觉的p4⽂件（确保与现有视频p4⽂件的⼀致性）audio/p4：具有⾳频和触觉的p4⽂件（再次确保与现有仅⾳频p4⽂件的⼀致性）此外，InterDigital正在积极定义⼀种协议，使⽤IPRTP传输机制来实时传输经过MPEG编码的触觉数据。与此同时，万维⽹联盟（W3C）——万维⽹的主要国际标准组织——正在忙于为互联⽹浏览器定义应⽤程序编程接⼝（API）。这项⼯作使得安卓上的Chroe和Firefox浏览器能够访问和控制触觉界⾯，从⽽使得⽹⻚和基于Web的应⽤程序能够提供触觉反馈。⽬前，这是⼀个针对嵌⼊式于移动设备中的振动触觉执⾏器的简化接⼝。W3C承认，触觉实现之间机械性能的差异意味着振动⽆法被准确控制，因此该API不同输出的简单振动模式。未来的⼯作将旨在定义完全可移植的触觉反馈。IEEE电⽓和电⼦⼯程师学会（IEEE）正在进⾏两项旨在改善触觉体验的主要倡议。⾸先，IEEE于2024年6⽉发布了“触觉互联⽹触觉编解码器标准”。IEEE1918.1.1-2024⽂件是在TactileInternet倡议下开发的⼀项振动触觉编码标准，专为5G应⽤⽽设计。议和机制。另⼀项正在进⾏的标准化⼯作是IEEEP2861.3，它定义了⼀个⾼性能触觉API标准，包含⼀组增强移动游戏触觉反馈的独⽴于供应商的配置⽂件。ATSC⾼级电视系统委员会（ATSC）⼀直在研究为电视⼴播配备触觉体验。ATSC3.0的⼀个承诺是能够在移动设备上接收内容；如果智能⼿机和平板电脑上的触觉执⾏器能够与⾳频-视频内容同步使⽤，观看体验将得到增强。ATSC相信以下类型的内容将受益于包含触觉数据：带⼊⾏动中。现场体育赛事：观众不仅可以观看和听到⽐赛中的事件（球等），浸感。愿⽅⾯更有效。ATSC于2024年4⽉发布了推荐标准A/380。他们意识到将触觉嵌⼊到ATSC0⼴播流中将需要扩展基本传输协议。因此，他们KhronosGroupKhronosGroup以在3D计算机图形领域创建免版税开放标准⽽闻名，包括OpenGL，WebGL和最近的Vulkan。⾃2017年以来，该组织⼀直在积极制定沉浸式增强现实（AR）和虚拟现实（VR）体验标准；他们在今年4⽉发布了OpenXR1.1版本。该标准已经在⼴泛的⾏业中得到采⽤，包括微软、Meta和⾼通等⼤公司提供符合规范的实现，同时Unreal和Unity⽀持OpenXR作为其各⾃游戏引擎的核⼼元素。包括HTC、Valve、Varjo、MagicLeap和XReal在内的AR和VR头显供应商也承诺⽀持。OpenXR使软件开发⼈员能够在不重写代码的情况下覆盖更⼴泛的硬件平台，并为平台供应商提供访问基于该标准的越来越多的XR应⽤程序。触觉是OpenXR和持续时间的基本⽀持。KhronosGroup与触觉⾏业论坛合作，以帮助扩展觉⾳频⽂件。⽀持OpenXR的AR和VR产品⼚商图⽚来源：KhronosGroup市场机遇家庭⾳视频（电视、机顶盒、媒体播放器、游戏机）、个⼈电⼦设备（机、平板电脑、耳机、个⼈电脑）和可穿戴设备（现实设备），预测显⽰到2024年底，领域内将会有41亿个⽀持触觉技术的消费类设备，较仅仅四年前增⻓了30%功，到2028年这⼀数字可能接近68亿个终端设备。同时，⽬前消费者需求仍然温和，主要是因为⼤多数⼈从未体验过优秀的触觉体验所能带来的益处。“到2024年，领域内将会有41亿个⽀持触觉技术的消费类设备”触觉增强，还是真正沉浸式的体验？消费类设备中的触觉终端实际上分为两种类型。触觉硬件；备。⼀个例⼦是具有能够从⼴播⽐特流中提取触觉信息的MPEG电视，但是通过有线或⽆线接⼝将触觉传递到沙发上的振动触觉垫。展现实设备来传达，但触觉增强的娱乐体验机会范围更为⼴阔。支持触觉的消费类电子产品可寻址市场(全球)7InstalledInstalledbase(bn)54

声⾳栏.Decodeonly媒体流播放器智能电视Decodeonly个⼈电脑/笔记本电脑Hapticenabledhardware耳机.Hapticenabledhardware32102020

2024

2028

XR平板电脑游戏机可穿戴设备(⼿腕)智能⼿机触觉启用消费类设备的渗透-安装基数触觉启用消费类设备的渗透-安装基数（全球范围内）20202024202830%37%70%63%47%触觉⽆触觉53%通过触觉感受可以增强⾳频效果。⾳乐触觉是聋哑⼈或听⼒受损者在iPhone上体验。通过触觉感受可以增强⾳频效果。⾳乐触觉是聋哑⼈或听⼒受损者在iPhone上体验。在⾳视频娱乐设备、智能⼿机等装置的基础上检验触觉技术，智能⼿机独占该领域；这些设备仅在今天就占据了可寻址终端数量的79%，超过322028年，其他配备触觉技术的产品增加，智能⼿机的份额将仅占59%。触觉的视频流服务提供了⼀个⼴泛且更重要的可触及观众群。配备触觉引擎；即使是⾼端设备，如苹果iPadPro，集成触觉的平板电脑主要利⽤它们来模拟按钮按压或增强键盘输⼊的感觉。新创建相同体验具有挑战性。另⼀个主要产品类别是⼿腕佩戴式可穿戴设备。⼤多数智能⼿表都包括触觉反馈组件，旨在提醒佩戴者需要关注的⾏动。尽管技术的⽤例可能不会扩⼤，但这个市场领域今天提供了超过4.01亿个可寻址的触觉设备，预计到2028加到近8.66亿个。视频潜⼒受触觉标准化努⼒推动的同质化影响，市场机会有望扩⼤，提供更具沉浸感的视或媒体播放器有可能接收和解码触觉。这为...游戏外围设备，如ButtKicker（下⽅），为将触觉注⼊⾳视频⽣态系统提供了有效⼿段。然⽽，这些⽅法相当严格游戏外围设备，如ButtKicker（下⽅），为将触觉注⼊⾳视频⽣态系统提供了有效⼿段。然⽽，这些⽅法相当严格，对于休闲⽤⼾来说可能很复杂。标准应有助于扩⼤具有更多技巧的触觉设备的机会视娱乐所必需的。，个⼈电脑提供了另⼀个软件解码触觉增强视频的端点。两者都将需要连接的外围设备验的外围设备，到2028年可能为触觉增加超过⼗亿个新的端点。XR：触觉的关键市场类别，因为触觉感增强了⽤⼾的体验。受触觉影响的第⼀个市场是XR，其中沉浸感是改变个⼈⾃我感知的关键，导致真实的体验。感官吸收定义了XR的沉浸体验，当前市场显⽰出对该领域未来的积极迹象。在XR⽣态系统中添加形态因素时，⾏业领袖们认为这很容易，但他们预计⼀旦硬件设备的普及率更⾼，形态因素将随之⽽来。2023年，全球发货量接近1800万台AR和VR治危机等困难，该领域仍在增⻓。今年，XR领域预计增⻓12％，因科技巨头进⼊并投资于该领域的发展。值得注意的是，苹果发布了AppleVisionPro，被⼴泛认为是展⽰XR真正潜⼒的头戴式设备，引起了关注。MetaQuest3以诱⼈的价格点证明了⽤⼾可产⾃⼰的混合现实头戴设备，预计将直接竞争苹果VisionPro。全球XR发货量2022年至2028年（全球）80Shipments(m)60Shipments(m)402002022

2023

2024

2025

2026

2027

2028到2028年，增强现实（XR）的出货量将是今天的三倍，预计将成为⼀个主流⽤来提⾼对即将创造真正虚拟现实的新设备形态的认知。XR硬件开发XR⼿套⽅⾯，它们可以XR75%觉扩展，但需要采取必要的步骤，使触觉在这⼀领域成为主流。Latency2,000XR⼿套⽽不感到疲劳。的体验。LatencyNansense$2,900;30sHi5GloveNansense$2,900;30sHi5Glove2.0$2,000;20sSenseGloveNova2$6,400;20sTactGloveDK2$250;<15sManusPrie3$3,000;<5s价格沉浸是⼀种超越视觉的整体体验。要让个⼈真正沉浸在内容中，触觉和空间声⾳同样重要，因为它们包含了新的感官，如听觉和触觉。尽管不被充分讨论，空间⾳频已经迈出了步伐朝着发展迈出了⼀步，采⽤视听匹配模型，该模型将声⾳和物理设置的图像结合起来，该物理设置被⽤作“⽬标环境”。觉的添加，增强存在感将减少VR晕动病的⻛险。Haptics:Thenext odalityini ersiveentertain ent 18MetaQuest3是⼀款混合现实头戴设备，平衡了价格和性能，为消费者提供了全彩透视、先进的⼿部追踪，以及舒适的⼈体⼯程学设计，使⽤⼾在⻓时间使⽤时感到舒适苹果将VisionPro定位为⼀款独⽴的混合现实头戴设备，⽤于空间计算。售价为3,499美元，零售价格⾼昂，但可以说，其技术的执⾏和组合展⽰了未来最低可⾏的XR产品可能会变成什么样Valve预⻅游戏的未来将是虚拟的，推出了⾃⼰的RSteaVRIndexVRPCHTCVivePro2PC。⽤⼾还3DPlayStationVR2是索尼的第⼆代VR头戴设备。它通过⼀根USB-C电缆连接到PlayStation5，⾮常适合⽇常使⽤。它采⽤两块⾼对⽐度的OLED显⽰屏120fps，抓取物体©2024FuturesourceConsultingLtd游戏中的触觉技术框架，可以进⼀步利⽤以获得触觉输⼊。触觉技术带来了另⼀层沉浸感，在设备上已被证明成功，⽐如XboxOneIpulse控制器，该控制器配备了带有单独振动电机的⾃适应扳机，⽤于提供触觉反馈，如油⻔或枪声。索尼PS5DualSense反馈。2015年，Stea控制器尝试通过将摇杆替换为两个触觉触控板来改⾰控制器设计。Valve希望它可以玩整个Stea游戏库，这是不可能仅使⽤拇指杆来实现的。触觉触控板在触摸时模拟⿏标滑动的机制，通过振动提供了⼀种类似于滚轮或⿏标的摩擦感。它还模拟了其他输⼊，如模拟摇杆或滚动轮。与触控板的任何交互都会传递物理输⼊信号，使游戏更具沉浸感。Valve为现有PC客⼾提供更好的沙发游戏体验，并让主机玩家过渡到Stea，这在当时已有⼤量玩家这样做。。硬件最终被停产，⽽其社区和控制器创新在此后蓬勃发展。全球游戏平台安装基数（全球范围内）250Shipments(m)200Shipments(m)1501005002020游戏主机 ⼿持游戏机

2024SteaDeck

2028RazerKishiV2Pro围绕RazerKishiV2Pro围绕准的游戏感觉。Razer的KrakenV3游戏时启⽤空间触觉效果。⾜PC玩家和主机玩家的需求。这两种⻛格的结合保留了传统游戏⼿柄与摇杆戏⼿柄设计的⽼游戏，同时通过触觉反馈的增加来增强控制。SteaDeck格的PC游戏。同样，智能⼿机⾏业也在适应变化，设备越来越能够以紧凑的形式处理要求⾼的游戏。虽然2023年游戏智能⼿机这⼀特定类别仅销售了600万部，但触觉增强游戏的戏平台，iPhone15因其能够提供PC级游戏体验⽽备受关注。⾜。其有效应⽤之⼀是在游戏《SkyChildrenoftheLight引擎通过微妙的振动传达⻜⾏或⻛阻的感觉，提升了游戏体验。

Sky:ChildrenoftheLight图⽚来源：Thatgaecopany精密触觉反馈、创新的附件技术以及像RazerKishiV2Pro这样的增强控制机控制的游戏体验的移动玩家。游戏引擎中的触觉反馈游戏引擎中的触觉反馈两款领先的游戏引擎开发⼯具——虚幻引擎和Unity引擎——都原⽣⽀持触觉反馈。最初旨在提供简单的此外，还有将触觉反馈连接到图形引擎的潜⼒，使得在屏幕上查看的纹理可以被触觉感受到XR体育联盟于2024年6⽉启动——这是Accedo、HostBroadcastServices和Qualco之间的战略合作伙伴关系。主要⽬标是结合知识和技术，推动XR中沉浸式体育市场的发展，提供这种服务的端到端解决⽅案。XR体育联盟于2024年6⽉启动——这是Accedo、HostBroadcastServices和Qualco之间的战略合作伙伴关系。主要⽬标是结合知识和技术，推动XR中沉浸式体育市场的发展，提供这种服务的端到端解决⽅案。制解决⽅案，以及必要的硬件，以便为⽤⼾重现这种环境以供享受。中的初步步骤可能来⾃视频和⾳乐⾏业，使⽤现有设备（戏控制器）进⾏⼀些简单的触觉反馈，也可能来⾃XR中的⾼端娱乐。通过利⽤以下硬件，触觉反馈可以极⼤地增强体育和电影观看体验：沉浸式影院座椅提供与电影动作相对应的刺激，这也可以在家庭环境中复制。到动作。⼿套很重要，因为它们增加了触感，使⽤⼾更接近所描绘的情境域包括D-BOX、CJ集团和Flexound在内的领先公司在“4D影院”中将触觉体验融⼊了影院体验中D-BOX座椅产⽣与屏幕上的动作同步的运动。这需要⾼度专业