近期，我校信息学院王菡子教授团队在视频目标检测领域取得重要进展，相关研究成果以“IMC-Det: Intra-Inter Modality Contrastive Learning for Video Object Detection”为题发表在International Journal of Computer Vision（DOI:10.1007/s11263-024-02201-9）。
视频目标检测是计算机视觉领域中的一项基础而又重要的研究方向。目前的视频目标检测方法大多使用视觉模态内的时空信息进行特征聚合。然而，由于目标遮挡、运动模糊、罕见姿态等导致的表观退化问题，大多数现有的视频目标检测方法无法稳定地预测表观退化的目标，从而导致了受限的检测性能。本文提出了一种基于内外模态的视频目标检测方法（简称IMC-Det）。该方法能够同时利用视觉模态和文本模态中的有益信息来增强目标表观表示，以提高视频目标检测的性能。在具有挑战性的大规模的ImageNet VID数据集上进行了大量实验，实验结果表明，与现有的视频目标检测方法相比，本研究所提出的IMC-Det方法能够获得较好的检测性能（即使用ResNet-101和ResNeXt-101可分别获得85.5% mA P和86.7% mAP）。
该论文由博士生齐强和硕士生邱振宇在王菡子教授、严严教授、卢杨老师共同指导下完成。该研究工作得到了国家自然科学基金项目（U21A20514, 62372388, 62071404 and 62376233）等项目的支持。
论文连接：https://doi.org/10.1007/s11263-024-02201-9
（信息学院）