超高精度模拟真实触觉反馈，比VR/AR更轻便的虚拟交互。
作者 | ZeR0
编辑 | 漠影
看见篮球的3D全息投影已经不稀奇，但如果你能拍打、触摸这个篮球幻像，而且能感受到它的弹性呢？
智东西9月3日消息，英国格拉斯哥大学的一个工程师团队提出一种新方法，能创造跟全息投影进行物理交互的感觉。
当你用不同力度拍这个虚拟篮球时，你的手掌会感受到不同的弹性力道，就像在拍一个真球，你的手、手指和手腕都会有逼真的触感。
而实现这样宛如科幻片里的互动体验，完全不需要可穿戴或手持外围设备，比传统的VR/AR系统更加轻便。
这项研究的论文题目为《交互式立体显示的伪全息投影和气动反馈》，已发表于WILEY智能系统领域旗舰刊Advanced Intelligent Systems上。
论文链接：https://doi.org/10.1002/aisy.202100090
01.
三种模式，让虚拟篮球拍起来像真球
如何做到逼真的篮球弹跳触感？
研究团队打造了一个带有气动触觉反馈设备的伪全息投影。
▲用于交互式立体显示的带有气动触觉反馈的伪全息投影
如图，其开发的系统有3个主要组件，分别是伪全息显示、手势识别模块和触觉反馈设备。这些组件被连接到主计算机，并通过基于Unity平台的内部构建程序进行控制。
其中，伪全息显示基于Pepper的幽灵投影方案，创造了一种物体“漂浮”在空中的错觉；手势识别模块使得用户可用手势与虚拟对象进行交互。
除了视觉反馈外，该系统通过提供触觉反馈来提供更真实的交互感。
其触觉反馈设备名为Aerohaptics，当用户操纵虚拟物体时，该设备使用指向用户手上的加压空气喷射，来复制触摸感觉，同时它还提供位置和强度控制，以适应各种交互场景。
根据全息投影与用户之间的交互性质，Arduino控制器单元可区分多种操作模式，包括恒压模式、手部标志选择模式和手部跟踪模式。
在恒压输出模式下，无论手的空间位置如何，系统都会向用户提供恒定的气动反馈，即用户会感受到相同的压力。
在手部标志选择模式下，算法可以选择用户手的哪个部分（共6个标志，每个指尖各1个+手掌上1个）是跟踪系统的目标，系统可以准确地提供气动触觉反馈给不同的手部标志。
在手部跟踪模式下，压力基于3D虚拟成像的拓扑与用户手的运动交互，Arduino控制器单元将手指速度值直接映射到压力调制单元，使用户感觉像触碰到一个真实存在的东西。
比如用户试图拍打全息篮球时，将收到与拍打球时“感知”的力度成正比的气动反馈，能感受到球从指尖滚动时“圆圆”的形状，以及球弹回手掌时的弹跳压力变化。
02.
定位精准到手指，拍得越重反弹越猛
随后，研究团队用实验展示了其系统的两项功能，即触觉反馈传递的准确定位控制和可调触觉反馈强度。
首先在控制触觉反馈传递的位置方面，系统可控制空气喷射以非常高的精度指向不同位置。
系统中的商业手部跟踪设备可以检测到用户手部的不同位置，包括手指、手掌、手腕等，跟踪系统和气体喷嘴能准确控制触觉反馈的传递位置。
为了证明这一点，Aerohaptics系统被编程为按顺序瞄准用户手上的单个指尖，研究人员在用户指尖上粘了纸条，这样就能清晰看到喷气的位置是否精准。
从上图（d）中可以看到，空气会集中喷在目标手指上，相邻手指上粘的纸条没有受到干扰。
其次，为了提供不同强度的触觉反馈，其系统包含一个气流控制机制，以调节喷到用户手部的空气量。这在很多情况下都很有用。
比如，当用户的手离空气喷嘴越来越近或越来越远时，触觉反馈的强度可以保持不变；当用户试图迅速猛拍虚拟篮球，会产生更强的触觉反应；当用户拍打幅度很轻时，球的反馈强度也会相应降低。
研究人员在用户的手掌上放了一个力传感器，并记录了触觉反馈的强度，获得的图像结果显示了虚拟篮球三次硬弹跳后气流变化，然后是三次较软的气流，从而致使传递给用户手的力发生了变化。
03.
比其他全息显示功能更全
Aerohaptics系统由格拉斯哥大学詹姆斯·瓦特工程学院的Ravinder Dahiya教授领导的可弯曲电子和感应技术（BEST）小组开发。
Dahiya教授说，近年来，触觉反馈和立体显示技术取得了长足的进步，使我们更接近于与虚拟对象进行逼真地交互。
但当前的触觉技术往往要用到可穿戴或手持外围设备，其高成本与复杂性可能会阻碍该技术的普及。
与其他交互式全息显示相比，Aerohaptics系统能将其他系统实现的360°视角、空中手势识别、触觉等功能合在一起，同时无需用户连接设备。
相对于其他在3D虚拟环境中提供触觉反馈的技术，启动触觉反馈系统拥有反馈定位和强度控制等优势，并保持较低的复杂性和低成本。
