现代人工智能视觉模型虽具备强大的图像理解能力，却普遍面临一个关键短板：输出的特征图分辨率过低，难以满足语义分割、深度估计等需要像素级精度的任务需求。同济大学计算机科学与技术学院的研究团队近日提出了一种名为RaysUp的创新方案，通过引入三维几何信息，将低分辨率特征无损还原为高清细节图，在精度、速度和通用性上均实现了突破性进展。
传统视觉模型处理图像时，会将输入切割成小块进行编码，导致输出的特征图分辨率仅为原图的1/14至1/32。这种"马赛克式"的理解方式虽能捕捉整体语义，却丢失了大量细节信息。研究团队形象地比喻道：这就像试图通过16×16像素的模糊照片辨认鸟类品种，只能看出大致轮廓，却无法分辨羽毛纹理或具体种类。
针对这一难题，RaysUp方案创造性地将特征上采样问题从二维平面转向三维几何空间。其核心思路是：将每个像素点重新定义为从相机出发的三维射线，通过分析射线方向的相似性来判断像素间的物理关联性。这种方法有效解决了二维坐标系中相邻像素可能对应三维空间中相距甚远物体的问题，避免了边界处的特征混淆。
该方案由四个关键模块构成。首先是空间解耦引导编码器，采用四条并行"侦察路线"替代传统单一卷积核，分别处理中心、水平、垂直和对角方向的信息。这种设计使中心区域权重提升至满分，同时节省了69.4%的参数量。其次是任意分辨率交叉注意力机制，通过自适应平均池化实现"变焦"效果，无需重新训练即可支持任意分辨率输出。
射线位置编码模块为每个像素分配6维几何身份证，包含相机位置和射线方向信息。多频谐波相位编码技术将这种三维描述符转化为可计算的数学表示，使注意力机制能够自然遵循几何规律。最后的几何感知邻域交叉注意力模块通过局部聚合策略，将计算量从平方级降至线性级，显著提升了处理效率。
实验数据显示，RaysUp在五大类密集预测任务中全面超越现有方法。在语义分割任务中，Pascal-VOC数据集上的mIoU达到84.64，超过AnyUp的84.18；Cityscapes数据集上从60.62提升至61.88。深度估计任务中，NYUv2数据集的绝对深度RMSE降至0.4658，优于所有竞争对手。视频目标分割任务中，DAVIS数据集的J&F均值达71.47，展现出更强的时序一致性。
效率方面，RaysUp仅需0.14M参数量，仅为AnyUp的16%。在224×224分辨率下，推理速度达55帧/秒，是AnyUp的5倍；在2K分辨率下仍能保持1帧/秒的处理能力，而其他方法均因内存溢出无法运行。这种超高分辨率处理能力，为医学影像、卫星图像等领域的应用开辟了新可能。
训练策略同样体现了轻量化设计理念。研究团队仅使用单块NVIDIA A100 GPU，在ImageNet数据集上训练约1小时即可完成模型优化。通过引入局部裁剪策略，进一步提升了模型对细节的重建能力，在Cityscapes数据集上的mIoU额外提升1.16个百分点。
该方案的通用性也经过严格验证。测试覆盖四种主流视觉基础模型和三种不同规模架构，在所有12个组合中均优于AnyUp。特别是在DINOv3-ViT-L模型上，语义分割mIoU达88.07，深度估计RMSE降至0.398，展现出强大的跨模型适应能力。
对于相机参数获取这一实际应用中的关键问题，研究团队通过消融实验证实：即使采用单位矩阵作为简化假设，模型性能与使用真实相机姿态的差距不足0.3个百分点。这意味着在实际部署时，无需额外采集相机参数即可获得优异效果，大大降低了技术落地门槛。
这项研究为特征上采样领域提供了全新范式，其核心价值在于将几何先验知识系统性地融入深度学习框架。通过重新定义问题维度，用极简的参数实现了性能飞跃，为自动驾驶、医疗影像等需要高精度视觉处理的领域提供了高效解决方案。完整技术细节已通过arXiv预印本公开，代码同步在GitHub平台发布。
