复旦大学与上海财经大学联合研究团队提出了一种名为SAM2Matting的新型视频抠图框架，该成果以预印本形式在arXiv平台发布，编号为arXiv:2606.27339v1。这项研究通过创新性的技术设计，在视频抠图领域实现了突破性进展，为相关领域的技术应用提供了新的思路。
视频抠图技术广泛应用于手机背景虚化、电影特效合成和直播间虚拟背景等场景，其核心目标是准确区分图像中的主体与背景。相较于单张图片抠图，视频抠图面临两大挑战：一是需要保证帧间主体轮廓的连续性，避免出现抖动或跳变；二是需要处理运动主体、半透明区域以及短暂消失后重新出现的目标。传统方法依赖大规模视频数据集的像素级标注，但这类数据集不仅标注成本高昂，且覆盖场景有限，导致模型在非人物主体上的表现欠佳。
研究团队提出的SAM2Matting框架通过“分工协作”策略解决了这一难题。该框架将视频抠图任务分解为追踪和精细抠图两个子任务：追踪部分采用已在海量视频数据上训练成熟的模型（如SAM2/SAM3），负责定位每帧中的主体位置；精细抠图部分则利用丰富的图片抠图数据训练专门模块，处理半透明区域和复杂边缘的细节。这种设计使追踪模块保持强大泛化能力的同时，抠图模块能够专注于像素级精度提升。
在技术实现上，SAM2Matting构建了三级处理流水线。首先，追踪模块输出主体轮廓遮罩；其次，ROI检测器在粗轮廓基础上识别需要精细处理的区域，生成包含前景、背景和未知区域的“伪三分图”；最后，渐进式alpha预测器通过多尺度级联精化机制，从粗到细逐步生成透明度图。研究团队还引入了遮罩一致性惩罚和平滑度损失等纠偏机制，确保抠图结果在主体内部无空洞且边缘自然流畅。
实验数据显示，SAM2Matting在多项评测指标上表现优异。在图片抠图任务中，基于SAM2.1-Tiny的变体在P3M-500-NP数据集上的平均绝对误差（MAD）仅为3.92，较此前方法降低约75%。在视频抠图任务中，该框架在未使用任何视频训练数据的情况下，于V-HIM60-Hard测试集上的MAD指标达到14.37，显著优于专门用视频数据训练的竞品模型。SAM2Matting在1080p视频处理中可达40帧/秒的实时速度，且内存占用低于5GB，展现出较高的工程实用性。
消融实验进一步验证了各模块的有效性。当用传统膨胀腐蚀操作替代ROI检测器时，MAD指标上升超过60%；移除多尺度级联精化机制后，误差增加约7%。值得注意的是，用视频数据微调模型虽在人物视频上略有提升，但在动物图片测试集上性能下降，这表明窄领域数据会削弱模型的泛化能力，印证了研究团队“分工协作”策略的合理性。
该框架还展现出较强的灵活性和鲁棒性。它支持点击、框选和文字描述等多种提示方式，能够在主体多次消失后重新出现的长视频中保持稳定追踪。例如，在滑雪视频测试中，即使追踪器漏检雪杖，ROI检测器仍能通过图像特征将其保留在最终结果中；当追踪器误将背景桌子划入主体时，系统也能自动纠正错误。
这项研究为视频抠图领域提供了新的技术范式，其核心思想可推广至其他包含“追踪+精细感知”的视觉任务。对于普通用户而言，该技术有望降低视频编辑门槛，使高清实时抠图在普通电脑上成为可能，同时扩展对宠物、植物等非人类主体的支持范围。目前，研究团队已公开论文及代码仓库，为后续研究提供了基础资源。
