计算机学院浙江省脑机协同智能重点实验室以杭电为第一单位的论文 《Multi-Modal Synergistic Implicit Image Enhancement for Efficient Optical Flow Estimation》 成功被计算机视觉顶级会议CVPR 2025录用。论文第一作者为戴玮辰副研究员,第一学生作者为武鹤星硕士研究生,通讯作者为孔万增教授。IEEE Conference on Computer Vision and Pattern Recognition(CVPR)由IEEE主办,是计算机视觉与模式识别领域最具影响力的国际学术会议之一,也是中国计算机学会(CCF)推荐的A类国际学术会议。本届CVPR共收到13,008篇有效投稿,最终录用2,878篇,录取率 22.1%。
论文提出了一种基于多模态监督的光流估计方法,旨在提升困难环境如低光照环境下光流估计的效果。由于低纹理和噪声的影响,低质量图像中提取的特征可能不足以支持后续的相关性计算,进而成为光流估计过程中的瓶颈。为此,论文提出了一种多模态隐式图像增强的光流估计方法,增强网络采用了一种高低频特征增强网络,该增强网络在多模态数据和特定后续任务的隐式引导下,使模型能够学习多模态知识,从而在推理过程中增强适用于光流估计的特征信息。训练过程中,从增强图像中提取的编码特征在光流任务和 RGBD 融合特征的协同监督下进行优化。实验结果表明,该方法在合成数据集和真实数据集上的测试均取得了提升,为困难环境下的光流估计任务提供了全新且高效的解决方案。
