任何运动员都明白，规范的练习是取得理想表现的前提。但对无法经常接受教练或训练师面对面指导的人来说，长期保持正确动作并不容易。新冠疫情期间，许多人转向在家锻炼，美国消费者产品安全委员会的数据显示，与居家锻炼相关的伤害增加了48%。
为减少这类伤害并延伸专业教练的作用，德雷克塞尔大学和密歇根州立大学的研究人员开发了一个原型系统，利用人工智能和计算机视觉分析运动视频，并在锻炼过程中实时给出动作姿势建议。相关研究论文已发布在 arXiv 预印本平台上。
该系统融合了生物力学建模、计算机视觉和视觉语言模型，目标是在用户运动时提供实时、个性化且带解释的指导——这是大多数现有健身应用难以做到的。研究团队在今年 6 月由电气电子工程师学会（IEEE）和计算机视觉基金会联合主办的计算机视觉与模式识别会议（CVPR）上展示了这一原型系统，命名为 BioCoach。
德雷克塞尔大学工程与计算学院助理教授、项目负责人刘峰博士表示：“很多在家通过视频或应用锻炼的人，实际上得不到高质量的动作评估。反馈往往非常笼统，或者只是鼓励语，没有真正针对动作本身。我们开发 BioCoach 的目的，是提供及时、具体、基于身体运动的提示，更接近有经验教练的指导方式。”
在德雷克塞尔大学的视觉智能实验室中，刘峰团队长期使用先进的计算机视觉、机器学习和三维人体建模技术，研究运动指导、临床步态评估以及课堂教学等场景中的问题。
为构建 BioCoach，研究人员首先选用了一个运动视频指导基准数据集——公开的高通运动视频数据集（QEVD）。该数据集包含数百小时的运动视频，并附有带时间戳的指导性反馈。
原始数据集中给出的反馈多为简短提示，例如“身体再下沉一点”。为满足更精细的训练需求，团队对数据进行了重新标注：在原有评论基础上，加入更具体的生物力学目标，如“在动作底部时肘部屈曲增加至 90 度”，并补充简短的指导理由，例如“增加髋关节/膝关节屈曲以分散负荷”。
最终，研究人员为 200 多段视频新增了 2400 余条注释，用于训练和测试 BioCoach。这些注释不仅帮助训练负责生成指导内容的大型语言模型，也因为保留了时间戳，使新的基准数据集可以同时评估系统反馈的内容质量和响应时机。
在改进后的运动视频反馈数据集基础上，团队设计 BioCoach 通过两条互补的信息流来分析视频，从而生成合适的指导建议。
一条信息流采用三维卷积神经网络，捕捉视频中的视觉外观和运动模式。这类深度学习模型擅长识别图像和视频中的目标及其动态变化。另一条信息流则用于估计三维骨骼运动和身体形态，提取关节角度、活动范围以及动作阶段等信息。
借助这两条信息流，BioCoach 可以获取每个关节的结构化生物力学数据。在生成反馈前，系统会先识别与当前动作最相关的关节——例如深蹲时重点关注髋关节、膝关节和踝关节，俯卧撑时则聚焦肩关节、肘关节和腕关节——从而给出更有针对性的指导。
在此基础上，程序还会结合身体形态信息和运动质量分析，生成结构化描述，再由语言模型转化为具体的、生物力学导向的文字反馈。
刘峰解释说：“我们希望构建的系统，不是只看像素然后给出几句泛泛而谈的评论。通过让 BioCoach 直接接触三维运动数据、关节角度和特定动作约束，反馈可以指向具体的动作问题，并说明这些问题为什么重要。”
在完成系统搭建后，团队将 BioCoach 与多款领先的视频语言人工智能模型进行了对比，这些对手来自 NVIDIA、字节跳动、阿里巴巴、Salesforce、OpenAI、上海交通大学、香港中文大学、北京大学、鹏城实验室以及麻省理工学院等机构。
研究人员向各个系统展示多段运动视频进行测试，其中既包括原始 QEVD 数据集中的视频，也包括团队重新注释的视频。随后，将各系统生成的反馈与 QEVD 原始反馈以及研究人员新增注释进行对照，从反馈的时机、准确性和细致程度等维度进行评分。
在针对原始数据集视频的测试中，BioCoach 在文本质量和准确性方面的表现优于其最接近的竞争对手 Stream-VLM（由 MIT 和 NVIDIA 研究人员开发），虽然在反馈时机评分上略逊一筹，但差距不大。
当使用带有更具体注释的数据集进行评估时，BioCoach 在所有指标上都超过了 Stream-VLM，尤其在生物力学准确性和解剖学细节反馈方面优势明显。
研究团队认为，这些结果表明，将明确的三维运动学和生物力学信息引入系统，可以显著提升实时运动反馈的质量和可解释性，而不会明显拖慢响应速度。
“看到 BioCoach 能在与人工智能领域顶尖团队和公司开发的系统同台竞争时表现出色，这对我们是很大的鼓励。”刘峰说，“目前它仍然只是一个原型，但已经展示出，将计算机视觉与结构化生物力学推理结合，可以让 AI 指导系统更实用，也更容易被验证和信任。”
接下来，团队计划继续优化该系统，使其能够从视频中估计关节反作用力和肌肉激活模式，从而识别那些可能导致运动伤害的细微代偿动作。
“我们相信，这项工作最终可以服务于运动训练和物理治疗等应用场景，在面对面训练间隙延伸教练和治疗师的专业指导。”刘峰表示，“未来的系统有望在用户自主练习时，提供更具体、及时的反馈，同时保持人类专家在整个训练过程中的核心作用。”
