苹果 Vision Pro 中缺失的触觉反馈

苹果VisionPro中缺失的触觉反馈很可能在我们有意识的心理生活中，感官的相互作用是构成触觉的原因。也许触觉并不只是肌肤与实物的接触，而且还是头脑中储存的生命力——麦克卢汉《理解媒介》一、虚拟交互中缺少的触觉反馈在上一篇《浏览器中复刻visionOS交互｜键盘》中，我们在浏览器中复现了裸手与虚拟键盘直接交互的设计，通过食指关节射线触发HoverEffect作为键盘按键的视觉引导。在实际体验过程中，最影响输入效率和体验的，其实是因为缺少实体键盘（按键）应有的触觉反馈，导致每一次按键的动作无法获得及时、明确的反馈。根据人机交互中的信息加工理论（InformationProcessingTheory），在与界面交互的过程中，用户和机器之间会不断进行信息的双向处理，及时有效的反馈可以帮助用户确认操作是否正确、明确当前状态、增强操作满足感，以及维持交互连贯性等。反之，缺少必要的反馈信息将打破这一循环，影响用户效率和体验。现有的交互方案在裸手交互场景中，由于没有实体外设的辅助，触觉反馈必然是缺失的，为了弥补这一缺失，最直接的方法就是利用视觉、听觉信息作为辅助，尽可能为用户提供及时有效的反馈。例如MetaQuest中，按键成功会辅助以声音🔊反馈：不过这种解决方案更像是手机从实体按键过渡到触屏按键时，为了弥补触摸屏所欠缺的段落感和纹理起伏而设计的视、听效果反馈（也包括振动反馈，只不过是整个手机的振动）。在虚拟交互中，触觉反馈的缺失更重要的是手和虚拟界面间缺少实体的阻挡，用户往往会穿过模型而不自知。尤其是在虚实结合的场景下，这种虚实物体呈现出来的视觉冲突是影响沉浸体验的罪魁祸首之一，不论你的模型渲染的有多么真实，用户的大脑都会瞬间「出戏」。

针对这一问题我相信即便是AppleVisionPro也没有办法提供完美的解决方案（在不提供额外辅助设备的前提下），因此在苹果官方设计规范里，对于直接交互的场景是非常克制的：Preferindirectgestures.Anindirectgesturetendstobeeasyforpeopletomakebecausetheydon’thavetomovetheirhandstoaspecificlocation.Reservedirectgesturesforwhenyouwanttoinvitepeopletomanipulateanearbyvirtualobject.翻译：首选间接手势。间接手势往往很容易做出，因为他们不必将手移动到特定位置。直接手势适用于需要邀请用户操作附近虚拟对象的情况。在这些场景中使用直接交互（DirectInteraction/Touch）二、伪触觉反馈（Pseudo-HapticFeedback）当然苹果的设计规范并没有解决虚实交互过程中触觉缺失的问题，为了真正解决这一问题，方法可以大致分为两大类，一是通过可穿戴设备（如手套、手环、指环等）或外置设备，提供真实的物理刺激（力、温度、纹理、硬度、超声波）等，具体可以参考下面这篇论文综述：这里举一个例子，MetaRealityLabs的研究团队尝试让用户在虚拟键盘输入的过程中，通过手套、腕带为用户提供真实的振感反馈，结果显而易见，基于手指的振动反馈可以带来更高的用户满意度、输入效率以及更低的认知负荷（mentaldemand）；同时研究结果也证明，集中在腕带部位的振动反馈也能带来几乎类似的效果。这其实是一个更面向市场化用户需求的研究，大部分用户不太可能接受时刻需要额外戴上一双手套来使用XR设备，但是对于腕带（或者集成到智能手表的表带），是普通消费者已经完全能够接受的。虚拟键盘输入穿戴式触觉反馈设备另一类方法称为伪触觉反馈（PseudoHapticFeedback）技术，它通过视觉和听觉等其他感官模拟出触觉感受，而不需要实际的物理接触或力反馈设备。正如文章开头所引用的描述：触觉并不只是肌肤与实物的接触…感官的相互作用是构成触觉的原因我们的大脑经历了现实生活经验的训练，知道触觉不仅仅来自皮肤的感受，它总是与视觉、听觉等其他感觉信息相伴而生。例如，按压不同的键盘会产生不同的声音反馈；用手推动物体时，要么手被物体阻隔无法向前，要么物体会随手的动作一起移动。下面这篇研究中，研究人员设计了四种不同的伪触觉反馈效果，并组合呈现给用户体验，以评估不同的反馈方式对虚拟交互体验的作用。结果显示不同的视觉反馈效果都可以有效诱发「触幻觉」（Hapticillusion）。三、总结AppleVisionPro采用眼手协同交互替代传统VR设备的手柄控制器，触觉反馈的缺失在特定的虚实结合交互场景必然会打破用户的连贯性交互和沉浸感。为了解决这一问题：一方面在交互设计时除非必要应尽量克制直接的虚实交互；另一方面充分利