增强现实（AR）和混合现实（MR）头戴设备可以在现实场景上叠加虚拟内容。例如，许多现有的AR/MR头显会利用手部追踪摄像头识别空中的手势，让用户在“悬浮”在眼前的虚拟键盘上输入文字。

不过，这种空中手势交互存在明显不足：通常需要配合手持控制器使用，长时间抬手操作会让手臂容易疲劳，而且缺乏真实的物理触感，整体体验并不舒适。

为了解决在AR/MR环境中打字不够自然、容易疲劳的问题，东北大学的研究人员提出了一种新思路：把身边随处可见的普通表面变成键盘，而且不需要额外设备。

这项技术的核心基于人体在指尖施压时的自然反应。当手指用力按压桌面等坚硬表面时，指尖皮肤会出现一小片发白区域，这种颜色变化被称为“发白现象”。研究团队利用头显摄像头拍摄到的画面，通过AI模型分析指尖图像，从而判断手指何时真正接触并按压到表面。

“这项研究意味着，我们周围的日常表面——比如墙壁、桌面或隔板——都可以变成触控输入区域。”研究负责人赵光汉表示，“而且，这种方法不需要任何特殊传感器、标记或额外设备，用户只要戴上头显就能直接使用。”

为实现这一目标，团队训练了一个AI模型，使其能够稳定识别由头戴设备标准摄像头捕捉到的指尖发白现象。同时，他们还设计了一个配套的交互系统，以便用户更方便地进行输入和操作。

在用户研究中，系统在多种常见材质的表面上都能可靠检测到指尖接触。参与者在完成交互任务时，输入准确率保持在较为稳定的水平。由于交互基于物理表面，用户可以在操作间隙将手指自然放在桌面等处休息，减轻了长时间悬空带来的疲劳感。

“我们的主要目标，是开发一项技术，让AR和MR设备可以直接在日常物理表面上实现触控输入，而不依赖特殊硬件。”赵光汉说，“这样一来，AR和MR设备会更易上手，也有望加速这些技术在日常生活中的普及。”

这项研究成果已在2026年3月21日至25日于韩国举办的第33届IEEE虚拟现实与三维用户界面会议（IEEE VR 2026）上发布，相关论文也已被IEEE计算机学会数字图书馆收录发表。