只需轻轻动手,就可以“掌控”一切?
FACEbook最近发布了一款腕带式AR传感器,让用户在虚拟世界中体验类似绯红女巫的能力。
这一设备由FACEbook的AR/VR研究部门FACEbook RealITy Labs(FRL)开发,佩戴者可以通过手腕上的电运动神经信号来控制AR眼镜,使用手指动作进行操作。
连被称为卷积网络之父的图灵奖得主、FACEbook首席AI科学家Yann LeCun对此也表示赞赏。
功能不断扩展
那么,这款腕带究竟能实现哪些功能呢?
根据官方介绍,无论是在行走还是坐着的状态下,用户只需将手放在身前、侧面或口袋中,就可以通过腕带进行操控。
最初,腕带仅支持通过拇指和食指的捏、放手势来实现简单的单击操作。后来,团队又增加了更多的控制功能,例如触摸和移动虚拟对象。
此外,研究团队还在积极探索如何在桌面或膝上实现高速打字的功能,甚至希望能够达到比使用传统键盘更快的打字速度。
与物理键盘的不同之处在于,虚拟键盘不仅可以随时使用,还能够随着时间的推移学习并适应每位用户独特的打字风格,从而实现更高效的打字体验。
FRL团队在个性化键盘模型的研究上取得了显著进展,显著减少了模型训练所需的时间。
FRL的研究科学主管HRvoje Benko表示:“我们相信,可穿戴腕带设备可以为AR眼镜提供超低摩擦、随时可用的输入方式,但它们本身并不是完整的解决方案。”
他进一步指出,正如鼠标是用户界面的一部分,腕带设备也需配合意图预测和用户建模,以实时适应用户及其所处环境。
因此,FRL团队正在努力研究适应特定环境的自适应界面,以实现“智能点击”。这意味着用户无需移动视线或浏览菜单,系统能够根据不同环境预测用户意图,并主动提供合适的界面,用户只需轻微反馈即可进行控制。
FRL研究科学经理Tanya JonkeR补充说:“系统会学习用户的位置和关键对象的信息,例如跑鞋或活动识别,并根据用户的历史行为来预测其意图。”
例如,若用户习惯于穿着特定鞋子时启动音乐程序,系统会在未来再次穿上该鞋子时主动询问是否播放音乐,用户只需用简单手势进行确认或修改。
通过这样的微手势,用户无需中断当前操作,从而节省了时间。
FACEbook官方提到,实现这一功能需要结合机器学习、人机交互和用户界面设计等技术,而目前仍面临许多技术挑战。
尽管通过超低摩擦的输入方式可以实现与自适应界面的交互,但要完全感知虚拟物体,仍需触觉技术的支持。
对此,FRL研究科学总监Sean KelleR表示:“人类从出生开始的每一次抓握,到后来的精细操作,手和手指都能提供丰富的反馈。”
触觉信号使我们能够理解世界,并利用工具进行精细控制。无论是外科医生使用手术刀,还是钢琴演奏者感知琴键的边缘,这一切都离不开触觉。
通过腕带,用户无需查看,就能够通过触觉进行识别和决策。例如,虚拟弓箭使用腕部触觉,给佩戴者带来拉弓的真实感;手环在接收到紧急邮件时,能够产生比普通邮件更强烈的震动;当有电话呼入时,通过不同的触觉反馈,用户也能判断来电者身份。
研究人员还提到:“触觉还可以传达不同的情感,这可能为社交沟通开辟新的方式。”
目前,FACEbook团队正在开发多个研究原型,包括配备8个气动波纹管的Bellowband和采用6个震动触动器及新型手腕挤压机制的TasBI,以进一步探索触觉反馈的可能性。
利用EMG技术实现控制
上述功能均依赖于EMG(肌电图)技术的实现。EMG技术通过传感器将手腕传递至手部的电运动神经信号转化为数字指令,用户可以利用这些指令控制设备的功能,且这种控制方式高度个性化,能够适应多种场景。
据FACEbook介绍,手腕发出的信号非常清晰,EMG能够感知到甚至是毫米级的手指运动,因此输入无比轻松。未来,甚至可能感知到用户移动手指的意图。
现任神经运动接口主管ThoMas ReaRdon表示:“我们的目标是通过神经界面,让用户利用周围神经系统的输出,特别是脑外神经,激活手和手指的肌肉动作,以直接控制机器。”
为什么选择手腕作为设备佩戴位置?
FRL团队对此做出了说明:手是人们与世界接触的重要身体部位,戴在手腕上能够最大化手部的控制功能,从而实现更好的交互体验。
与语音控制相比,穿戴设备在公共场合使用更为便捷;类似手表的设计使其更符合日常生活和社交环境;手腕位置适合长时间舒适佩戴;而作为独立设备,能够更方便地应用,无需依赖手机或其他设备进行控制。
此外,手腕上的可穿戴设备还可以轻松集成计算、电池和天线,并支持多种传感器。
网友热议
这项技术自获LeCun点赞以来,吸引了大量网友的关注。
许多网友对此感到惊喜:“这是实际的延迟效果吗?看起来很棒。”
也有网友对技术的应用提出了设想:“这可以让失去手的人依靠神经模拟手势,不是吗?”
“毫无疑问,这可以连接假肢,促进恢复和学习过程。”
不过,也有人提出质疑:“什么?这不是多年前的MYO手环吗?”
实际上,这款基于EMG技术的腕带源于MYO,最初由AR眼镜公司NoRth的前身ThalMic Labs开发,后来其专利被初创公司CTRL-labs收购。2019年,FACEbook以数亿美元收购了CTRL-labs,原研究团队也随之加入FRL。
与此同时,也有网友对此表示欣喜:“早在几年前,我就想知道MYO对VR的潜力,看到现在的成果真是太好了。”
这款手环主要用于配合FACEbook正在研发的AR眼镜,目前尚未公布上市时间。
[[[IMG_1]]]
[[[IMG_2]]]
[[[IMG_3]]]
