新AI模型显著提升单张图像反射去除效果

通过玻璃等反射材料拍摄风景时,往往会同时记录到透射场景和不希望出现的反射场景,两者叠加在一起,影响画面清晰度。尽管传统反射去除方法已有不少进展,但在面对复杂反射形态和多变光照条件时,仍常出现难以彻底去除的伪影,导致图像质量受损。

人工智能的最新发展为这一问题带来了新的解决思路。UNIST人工智能研究生院沈在永教授带领的研究团队提出了一种全新的AI模型,能够更有效地分离反射层与透射层,从而获得更加清晰、真实的玻璃背后景观。相关研究成果已发表在《IEEE图像处理汇刊》(IEEE Transactions on Image Processing)上。

针对现有方法在复杂、空间分布不均的反射场景中表现不佳的情况,研究团队设计了一种对叠加图像进行智能分割的策略,用于分区分析和处理。通过这种分割方式,模型可以在不同区域采用更有针对性的反射去除策略,在尽量消除反射的同时,最大程度保留透射场景的细节和结构。

该方法的核心由两项关键技术构成:互补专家混合(Complementary Mixture-of-Experts,CoME)和互补交叉注意力(Complementary Cross-Attention,CoCA)。

CoME基于专家混合(MoE)架构工作。它会根据局部区域的反射特征,动态选择并分配不同的神经网络“专家”来处理图像的各个部分。这些专家协同分析透射层与反射层,并在两者之间交换相关信息,从而提升分离的精度,尤其是在反射模式复杂多样的区域表现更为突出。

CoCA则在重建过程中同时关注强相关和弱相关区域。与传统注意力机制主要聚焦高度相关区域不同,CoCA认为一些重要的反射细节可能隐藏在相关性较弱的区域中,因此将其一并纳入建模范围,实现更全面、更有效的反射与透射分离。

在多个真实世界数据集上的广泛实验表明,该方法在视觉观感和定量指标上均优于现有主流技术。即便是在反射失真严重、结构复杂等具有挑战性的场景中,该模型依然展现出较强的鲁棒性,而这正是许多以往方法的薄弱环节。

沈在永教授指出:“自然场景中的反射本身就极其复杂且变化多端,传统神经网络往往难以充分适应这种多样性。我们提出的方法通过自适应的专家分配和双重注意力机制,提供了一种更灵活、更高效的解决方案。我们相信,这项技术在摄影、自动驾驶等多种成像应用中都具有重要的应用潜力。”


分享:


发表评论

登录后才可评论。 去登录