下次在手机上滑动屏幕时，不妨稍作停顿：这个看似简单的动作，其实依赖于手部34块肌肉、27个关节以及上百条肌腱和韧带的精密协作。人手是人体最灵巧的部位之一，要在机器人和虚拟环境中逼真复现这些细微动作，一直是工程领域的难题。

麻省理工学院的工程师如今提出了一种新方案：一款基于超声成像的可穿戴腕带，能够实时、精确地追踪佩戴者的手部动作。腕带在手部活动时持续采集腕部肌肉、肌腱和韧带的超声图像，并通过内置的人工智能算法，将这些图像即时转换为五指和手掌在空间中的具体姿态和位置。

研究人员可以先让腕带“学习”佩戴者的手部动作模式，随后设备便能将这些动作实时映射到机器人手或虚拟环境中。相关成果已发表在《自然电子学》（Nature Electronics）期刊上。

在演示中，佩戴腕带的参与者可以无线操控一只机器人手：当人类做出指向、抓握等手势时，机器人手同步完成相同动作。在一项类似“无线木偶”的互动实验中，佩戴者可以远程控制机器人弹奏简单的钢琴曲，或将小篮球投进桌面篮筐。使用同一腕带，佩戴者还可在电脑屏幕上操作虚拟物体，例如通过捏合手指来放大、缩小或移动虚拟模型。

团队目前正利用腕带采集更多不同手型、手指形状和手势的运动数据，希望构建一个大规模手部动作数据集，用于训练类人机器人执行高灵巧度任务，例如某些类型的外科手术操作。这款超声腕带也有望应用于电子游戏、设计软件和其他虚拟环境中，用于抓取、操控和交互虚拟物体。

“我们认为，这项工作可以立刻推动虚拟现实和增强现实中的手部追踪技术发展，并有可能用可穿戴超声腕带取代现有方案。”麻省理工机械工程系Uncas和Helen Whitaker讲席教授赵宣和表示，“它还可以为灵巧的类人机器人提供海量训练数据。”

这项腕带设计由赵宣和、卢耿熙及其同事完成，合作者包括麻省理工的前博士后陈晓宇、李书聪、邓博磊，研究生金成贤、李典，博士后王舒、李润泽，以及麻省理工教务长、电气工程与计算机科学系Vannevar Bush讲席教授Anantha Chandrakasan。其他合著者来自南加州大学，包括研究生郑宇顺、张俊航、刘宝强、龚晨和周启发教授。

寻找更好的“线索”

目前，捕捉和复现人类手部灵巧动作的技术路径主要有几类。一种是利用摄像头记录人在操作物体或执行任务时的手部运动，再通过视觉算法进行重建。另一种是让用户佩戴带有多种传感器的手套，直接测量手指和手掌的姿态，并将数据传给机器人。

然而，复杂的多摄像机系统搭建成本高、部署不便，还容易受到遮挡和光照等视觉干扰。传感器手套则可能影响手部自然动作和触觉体验，不适合长时间或高精度使用。

第三种方法是采集腕部或前臂肌肉产生的电信号（如肌电信号），并将其与特定手势对应起来。虽然这一方向已有不少进展，但电信号容易受环境噪声影响，且分辨率有限，难以区分细微的动作变化。例如，它可以大致判断拇指和食指是在捏合还是分开，却难以捕捉两者之间连续变化的中间路径。

赵宣和团队于是提出：能否利用超声成像来捕捉更连续、更精细的手部动作？他们此前一直在开发各种超声贴片——这是一种微型化的超声换能器阵列，工作原理类似医院常用的超声探头，但可以通过水凝胶材料安全地贴附在皮肤表面。

在这项新研究中，团队将超声贴片集成到一款可穿戴腕带中，使其能够持续成像腕部内部的肌肉和肌腱结构。

“你可以把腕部的肌腱和肌肉想象成拉动木偶的线，而木偶就是你的手指。”卢耿熙解释说，“我们的想法是：只要每次都能拍到这些‘线’的状态，就能推断出手指的状态。”

从腕部影像到手部控制

研究人员设计的腕带大小接近一块智能手表，内部集成了超声贴片和相关电子模块，整体体积大致相当于一部手机。他们让志愿者佩戴腕带，并在志愿者做出各种手势时采集数据，确认设备能够生成清晰、连续的腕部超声图像。

接下来，关键问题是：如何把这些黑白的腕部超声图像，准确映射到手部在空间中的具体姿态？

人类的手指和拇指一共具有22个自由度，也就是22种可以独立变化的角度或伸展方式。研究人员发现，在腕部的超声图像中，可以找到与这22个自由度分别对应的特定区域。例如，某个区域的变化主要反映拇指的伸展，另一个区域则与食指的动作高度相关。

为了建立这种对应关系，佩戴腕带的志愿者会做出多种手势和姿态，研究人员则用多台摄像机从不同角度同步记录手部动作。通过比对超声图像中各区域的变化与摄像机捕捉到的手部姿态，团队为腕部图像中的不同区域标注了对应的手部自由度。但要在整个动作过程中实现连续、实时的映射，仅靠人工几乎不可能完成。

因此，团队引入了人工智能算法。他们采用一种能够学习图像模式并将其与特定标签关联的AI模型，这里的“标签”就是手部的各个自由度。研究人员用精确标注的超声图像对算法进行训练，标出哪些图像区域对应哪些自由度。随后，在输入一组新的腕部超声图像时，算法可以预测出相应的手势和手部姿态。

在成功将AI算法与腕带系统整合后，研究人员在更多志愿者身上进行了测试。在这项研究中，共有8名手腕尺寸各不相同的志愿者参与，他们佩戴腕带完成多种手势和抓握动作，包括美国手语中26个字母对应的手势。他们还分别握持网球、塑料瓶、剪刀和铅笔等物体。结果显示，在所有这些场景下，腕带都能较为准确地追踪并预测手部的实际位置和动作。

为了展示潜在应用，团队开发了一个简单的电脑程序，并与腕带进行无线连接。佩戴者通过捏合、抓握等动作，就可以在屏幕上放大、缩小或平滑移动虚拟物体，实现连续、自然的交互体验。

研究人员还测试了腕带作为一只商用机器人手的无线控制器的效果。佩戴腕带的志愿者做出弹奏键盘的动作，机器人手便实时跟随，在钢琴上演奏出简单的旋律。同一机器人还可以模仿手指敲击动作，参与桌面篮球游戏，将小球投向篮筐。

未来，赵宣和计划进一步缩小腕带硬件体积，并在更多不同手型、手腕尺寸的志愿者身上采集数据，以训练AI模型识别更丰富的手势和动作。团队的长期目标是打造一款通用的可穿戴手部追踪设备，让任何人都能通过它，以高灵巧度无线操控类人机器人或虚拟物体。

“我们相信，这是目前通过可穿戴腕部成像来追踪灵巧手部动作的最先进方法之一。”赵宣和说，“这些可穿戴超声腕带有望为虚拟现实系统和机器人手提供一种直观而多功能的控制方式。”

本文根据MIT新闻（web.mit.edu/newsoffice/）授权内容编译，该网站专注报道麻省理工学院的研究、创新与教学相关资讯。