当你下次滑动手机屏幕时,不妨想想这背后的复杂机制:手部协调了34块肌肉、27个关节以及100多条肌腱和韧带,使得这一看似简单的动作成为可能。我们的双手是身体中最灵活的部分,如何精准模拟其细腻动作,一直是机器人技术和虚拟现实领域的难题。
麻省理工学院(MIT)的工程师们开发出一款超声波腕带,能够实时精准追踪佩戴者的手部动作。该腕带通过超声波成像捕捉手腕肌肉、肌腱和韧带的动态变化,并结合人工智能算法,将图像连续转换为五指和手掌的具体位置。
研究团队可以训练腕带识别佩戴者的手势动作,并实时将这些动作传输给机器人或虚拟环境。
在演示中,佩戴腕带的人可以无线控制机器人手臂。无论是手势还是指向动作,机器人都能同步模仿。通过这种无线木偶般的互动,佩戴者能够操控机器人弹奏简单的钢琴曲,或将小篮球投进桌面篮球框。使用同一腕带,用户还可以在电脑屏幕上操作虚拟物体,例如通过捏合手指来放大或缩小物体。
团队正在收集更多不同手型、手指形状和手势的用户数据,计划建立庞大的手部动作数据库,用于训练类人机器人完成精细任务,如特定外科手术。该超声腕带也有望应用于视频游戏、设计软件及其他虚拟环境中的物体抓取和交互。
MIT机械工程教授赵宣和表示:“我们认为这项技术能立即替代虚拟现实和增强现实中的手部追踪技术,使用可穿戴超声腕带。同时,它还能为灵巧的类人机器人提供大量训练数据。”
赵宣、陆耿熙等人在《自然电子学》杂志发表了这项腕带设计的最新研究成果。MIT的其他合作者包括前博士后陈晓宇、李书聪、邓博磊,研究生金成贤、李典,博士后王舒、李润泽,以及MIT教务长、电子工程与计算机科学教授Anantha Chandrakasan。南加州大学的郑宇顺、张俊航、刘宝强、龚晨和周启发教授也参与了研究。
观察“弦线”动作
目前捕捉和模拟人手灵巧动作的方法多种多样。一些方法使用摄像头记录手部操作,另一些则通过带有传感器的手套收集数据。然而,复杂的摄像系统不便于多场景应用,且容易受视觉障碍影响;而传感手套可能限制自然手势和触感体验。
第三种方法是利用手腕或前臂肌肉的电信号来推断手部动作,虽然取得了进展,但信号易受环境噪声干扰,且难以捕捉细微动作变化。例如,能区分拇指和食指是捏合还是分开,但无法精准识别中间的动作路径。
赵教授团队提出,超声成像或许能捕捉更连续、更灵巧的手部动作。他们开发了多种超声贴片——类似医生诊所使用的超声探头的微型版本,配合水凝胶材料安全贴附于皮肤。
在最新研究中,团队将超声贴片集成到腕带中,持续成像手腕肌肉和肌腱。

陆耿熙解释:“手腕的肌腱和肌肉就像拉动木偶的弦线,而木偶就是你的手指。每次拍摄这些‘弦线’的状态,就能知道手的姿态。”
手势映射
团队设计的腕带大小与智能手表相仿,内置电子元件体积相当于手机。佩戴者手腕上的腕带能清晰连续地捕捉手指各种动作时的手腕图像。
难点在于将黑白超声图像与具体手部姿势对应起来。手指和拇指共有22个自由度,即不同的伸展和角度变化。研究发现,超声图像中不同区域的变化分别对应这些自由度中的某些动作。例如,某一区域的变化与拇指伸展相关,另一区域则对应食指动作。
为建立这种对应关系,志愿者佩戴腕带做出多种手势,研究人员用多台摄像机同步记录手部动作。通过比对超声图像中某些区域的变化与摄像机捕捉的手势,团队为图像区域标注了对应的自由度。但要实现实时连续转换,人工操作几乎不可能完成。
因此,团队引入了人工智能算法,训练其识别图像模式并与特定手势标签匹配。通过精细标注的超声图像训练后,算法能准确预测新的手势图像对应的动作。
成功结合AI算法和腕带后,研究人员在更多志愿者身上测试。八位不同手腕和手型的志愿者佩戴腕带,完成包括美国手语26个字母的手势,以及握持网球、塑料瓶、剪刀和铅笔等动作。腕带均能精准追踪并预测手部位置。
为展示应用潜力,团队开发了简单的电脑程序与腕带无线连接。佩戴者通过捏合和抓握动作,实现对电脑屏幕上虚拟物体的放大、缩小和移动,动作流畅自然。
他们还测试了腕带作为无线控制器操控商业机器人手。志愿者模拟弹奏键盘动作,机器人实时模仿,成功演奏简单钢琴曲;同样,机器人还能模仿手指敲击完成桌面篮球游戏。
赵教授计划进一步缩小腕带硬件体积,并收集更多不同手型志愿者的手势数据训练AI。最终目标是打造一款适合所有人佩戴的手部追踪设备,实现高灵巧度的无线操控类人机器人和虚拟物体。
赵教授总结:“我们相信这是目前追踪灵巧手部动作最先进的方式,通过可穿戴的手腕成像技术。我们期待这类超声腕带为虚拟现实和机器人手臂提供直观且多功能的控制手段。”
本研究部分由MIT、美国国立卫生研究院、国家科学基金会、国防部及新加坡国家研究基金会通过新加坡-MIT联盟研究与技术项目资助支持。
