每年春季，河鲱鱼群从马萨诸塞州沿海水域迁徙，开始它们向淡水产卵地的年度河流和溪流之旅。过去几十年里，河鲱鱼数量大幅下降，整个地区主要通过传统的目视计数和志愿者项目对其迁徙进行广泛监测。

监测鱼类的迁徙动态和了解种群变化对于指导保护工作和支持渔业管理至关重要。随着今年的鲱鱼迁徙季节的开始，研究人员和资源管理者再次面临尽可能准确地计数和估算迁徙鱼类数量的挑战。

Woodwell气候研究中心、麻省理工学院海洋资助项目、MIT计算机科学与人工智能实验室（CSAIL）、MIT林肯实验室以及Intuit的研究团队共同探索了一种利用水下视频和计算机视觉技术辅助公民科学的新型监测方法。该团队成员包括Woodwell的陈中奇和琳达·迪根，MIT海洋资助的罗伯特·文森特和凯文·贝内特，MIT CSAIL的萨拉·比瑞和蒂姆·豪克，Intuit的奥斯汀·鲍威尔，以及MIT林肯实验室的莉迪亚·祖索。2024年2月，他们在《生态与保护遥感》期刊发表了相关论文。

这篇开放获取论文《从快照到连续估计：利用计算机视觉增强公民科学进行鱼类监测》详细介绍了计算机视觉和深度学习在目标检测、跟踪及物种分类方面的最新进展，展示了自动化鱼类计数在提升效率和数据质量方面的实际应用潜力。

传统监测方法受限于时间、环境条件和人力强度。志愿者的目视计数仅限于白天短暂的采样时间，无法捕捉夜间活动和短暂的迁徙高峰期——数百条鱼可能在几分钟内通过。虽然被动声学监测和成像声纳等技术在特定条件下推动了连续鱼类监测的发展，但最具潜力且成本较低的手动水下视频审核仍然耗时费力。随着自动视频处理需求的增长，本研究提出了一套可扩展、经济高效且高效的基于深度学习的自动鱼类监测系统。

研究团队构建了从现场水下摄像头采集、视频标注到模型训练的完整流程，实现了基于计算机视觉的自动鱼类计数。视频数据采集自马萨诸塞州的三条河流：法尔茅斯的库纳梅塞特河、伊普斯威奇的伊普斯威奇河和马什皮的桑图伊特河。

为准备训练数据集，团队挑选了在光照、水质、鱼类种类和密度、时间和季节等多样条件下的视频片段，确保模型在各种真实场景中均能稳定运行。利用开源网页平台，研究人员逐帧手动标注视频中的鱼类位置，总计标注了1435个视频片段和59850帧。

研究人员将计算机视觉计数结果与人工视频审核、河岸目视计数及被动集成转发器（PIT）标签数据进行了对比验证。结果显示，基于多地点、多年份多样化数据训练的模型表现最佳，能够生成与传统估计一致的全季节高分辨率计数。此外，该系统还能深入分析迁徙行为、时间及与环境因素相关的运动模式。以2024年库纳梅塞特河的迁徙视频为例，系统计数出42510条河鲱鱼，揭示了上游迁徙在黎明达到高峰，而下游迁徙主要发生在夜间，鱼类利用较暗且安静的时段避开捕食者。

通过这一实际应用，研究团队希望推动计算机视觉在渔业管理中的应用，并为将该技术整合进多种水生物种保护工作提供框架和最佳实践。MIT海洋资助项目的罗伯特·文森特表示：“MIT海洋资助项目长期支持该领域的研究，陈中奇及其团队的卓越工作将提升渔业监测能力，改善渔业管理者和保护组织对鱼类种群的评估，同时为学生、公众及公民科学团体提供教育和培训，支持沿海生态和文化重要的河鲱鱼种群。”

尽管如此，在渔业管理机构全面采用自动计数系统之前，持续的传统监测仍然至关重要以保持长期数据的一致性。即使未来自动化技术普及，计算机视觉与公民科学也应视为互补关系。志愿者不仅负责摄像头维护，还将直接参与视频标注和模型验证等计算机视觉工作流程。研究人员设想，将公民观察数据与计算机视觉生成的数据结合，将有助于构建更全面、整体的环境监测体系。

本研究由MIT海洋资助项目资助，东北气候适应科学中心、MIT Abdul Latif Jameel水与食品系统种子基金、由美国国家科学基金会和加拿大自然科学与工程研究理事会支持的AI与生物多样性变化全球中心，以及MIT本科生研究机会计划提供了额外支持。