视学算法 道  

【新智元导读】近日，Meta首次展示了秘密研发了七年的项目：「气动触觉手套」，颇具科幻魅力。这种触觉手套可以通过气囊让你体验到抓取虚拟物体时的真实触感。对于Meta来说，这款手套和其他可穿戴技术，都将让我们通往在VR和AR中实现互动的未来。

想要在元宇宙里「指点江山」吗是「头 玩家」里主角戴着的那种。

当然想了，可是，哪里能买到呢/p>

想象一下，你正在和朋友的3D虚拟化身拼一个3D虚拟拼图。

当你从桌子上拿起一块虚拟拼图时，能真切地感受到拼图就在手中，就是手指会停住的那种，效果大概就像下面这样。

是不是看起来非常像「元宇宙」中的场景/p>

没错，这就是Meta的现实实验室（Reality Labs, RL）在解决元宇宙中的一个核心挑战——「如何触摸虚拟世界」上做出的一点点努力。

无非就是研发了7年，整了点新的材料、新的传感器、新的执行器、新的集成和系统方法、新的渲染算法以及新的物理引擎。

毕竟都改名叫Meta了，不拿出一些Metaverse方面的研究成果怎么行。

这个时候，如果有一个时尚、舒适、实惠、耐用、柔软、轻便的触觉手套，就能解决在使用VR和AR时面临的交互问题了。

这个手套不仅可以准确地将佩戴者的手部动作反馈给计算机，而且还能重现一系列复杂、细微的感觉，如压力、纹理和振动，创造出用手感受虚拟物体的效果。

如果想还原真实的触感，手套上就必须搭载数百个执行器 （微小的马达），并且能够以一种协同运动的方式使佩戴者感觉他们正在触摸一个虚拟物体。

然而，工作刚开始两年，团队就遇到了传统电子和金属器件的限制。

用现有的机械执行器制作出的手套无法舒适地佩戴一整天。不仅僵硬、昂贵、耗电，而且无法呈现真实的触觉感受。

Meta RL则希望可以通过全新的材料制作一种柔软且有韧性的执行器，而且还可以根据佩戴者的动作改变形状。

「显然，你不能在手上安放1000个电机和各种用来连通的电线，」Meta RL研究硬件工程总监Tristan Trutna解释道，「即便能实现，从物理层面上来说，也并不适合。手套的质量和使用时产生的热量都太大了。」

现实你也猜到了，这种执行器并不存在。

于是，团队决定转向软体机器人和微流体的新兴领域，这其中的技术分别常用于假肢和PoC诊断设备。

经过一番研究，近两年Meta RL在气动执行器（使用气压来产生力）和电动执行器（在有电场的情况下改变形状或大小）方面都取得了重大突破。

为了控制这些新的软执行器，Meta RL制造了世界上第一个高速微流体执行器。通过手套上的一个微小的微流体芯片，告诉阀门应该在何时以多大程度打开和关闭，从而控制输入执行器的气流。

「通常认为『渲染』是指视觉效果」，Meta RL软件工程师Forrest Smith说，「我们也用『渲染』这个词来形容触觉。我们在这里做的是把虚拟世界的状态和你与它的互动，渲染到执行器上，这样你就能感受到相应的感觉。」

其中，物理引擎（用于模拟视频游戏中物体互动的软件）决定了你的手在与虚拟物体互动时应该接受的力的方向、大小和位置。

而触觉渲染算法将这些信息与触觉设备的特性（如各个执行器的位置和属性）相结合，从而能向设备发送正确的指令。

佩戴者体验研究科学经理Sophie Kim解释了该团队是如何利用人类的感知能力来创造足以令人信服的感觉的。

她说：「我们的大脑非常善于利用一点点触觉信 、一点点视觉信 、一点点听觉信 ，并将它们融合在一起，真正感受到这种感觉，并确信有一个物体存在于你的手中。」

Meta RL感知研究科学家Jess Hartcher-O’Brien描述了在VR和AR中的感官整合可能是怎样一种感觉。

「例如，当我准备拿起一个立方体时，会对它的材料类型和它可能的重量有一个假设。」

「在触碰到这个立方体的一瞬间，我就会把关于它的材料属性的视觉线索和触觉反馈结合在一起。」

而这就是触觉手套的神奇之处了，它甚至可以让佩戴者的感知系统相信自己正在感受一个物体的重量。

佩戴者手指的皮肤会被执行器轻轻地拉动，从而模仿重力对所持物体的拉扯，当然，这一切都必须在时间上完全同步。

在2017年底的一项实验中，Meta RL使用指尖上的单一振动触觉设备，在VR中的一系列不同材料制成的虚拟球体（木头、大理石、泡沫）从空中落下时提供触觉反馈。

当每个球体落到受试者的虚拟手指尖上时，都有独特的视觉、听觉和触觉反馈提示。

Keller表示，「所有的时间和工程对这种音频-视觉-触觉体验来说都是恰到好处的。你可以感觉到这是一块泡沫、木材或大理石。你可以体验到这些材料在落下时轻轻地打在你的手指上的感觉。」

发明未来：Meta RL刚刚开始

在VR和AR中提供可信的触觉体验所需的一些技术目前还不存在，但Meta RL仍在不断推动技术水平的提高，创造新的突破，使触觉手套成为现实。

「我相信，在即将到来的AR/VR和元宇宙的人机交互革命中，触觉将是至关重要的」，Meta RL Research科学经理Nicholas Colonnese说，「在未来，我们可能会呈现一个『触觉点击』，在你向元空间的朋友打招呼时分享定制的『触觉握手』。」

「当时，我们认为做不到，因为没有新的材料、新的传感器和执行器、新的集成和系统方法、新的渲染算法、新的物理引擎，什么都没有，这根本不可能，但时至今日，我们可以很骄傲地说，我们已经开辟了一条可行的道路，可以让我们达到目标。」

时间过去了七年，而对于他们来说，这才刚刚开始。

点个在看 paper不断！