苹果研究团队与香港大学合作发布了一项名为 LGTM 的新渲染框架。这一框架的全称为 “Less Gaussians, Texture More”,旨在突破4K 超高清画质的渲染瓶颈。
LGTM 框架的核心创新在于将3D 场景的几何结构与表面纹理进行解耦,从而简化几何形状的复杂性,同时通过叠加纹理层实现高质量的视觉效果。传统的 “前馈3D 高斯泼溅” 技术虽然可以将2D 图像快速转换为3D 场景,但在高分辨率处理时,随着像素数量的增加,计算需求呈指数增长,使得设备难以承载。
为了解决这一问题,LGTM 采取了两步走的策略。首先,模型从低分辨率图像中学习场景结构,确保在2K 或4K 渲染时几何框架的完美呈现。接着,第二个网络专注于细节处理,将高分辨率的纹理精确映射到几何结构上。这样的分工有效避免了对高算力的全链路消耗。
对普通用户而言,这项技术将显著提升苹果 Vision Pro 头显的使用体验。Vision Pro 的双眼屏幕合计拥有约2300万像素,单眼的像素量超过4K 电视,现有渲染技术在如此高的分辨率下容易造成性能瓶颈,从而导致画面卡顿或模糊。LGTM 的推出有望解决这一算力瓶颈,提供更加流畅和沉浸的体验。
实际演示中,接入 LGTM 框架后,生成的3D 场景在纹理细节和文字清晰度方面都有显著提升,画面效果接近真实。这意味着未来用户在使用头显查看虚拟环境时,将获得更加真实和清晰的视觉体验。
划重点:











