在实时自由视角视频合成领域，德国波恩大学计算机科学系团队提出了一套名为3DTV的创新系统。该系统仅需三台摄像机的画面，即可在25毫秒内生成任意角度的新视角图像，帧率达到每秒40帧，满足直播、电竞转播等场景对低延迟互动渲染的需求。相关研究以预印本形式发布，论文编号为arXiv:2604.11211。
自由视角技术的核心挑战在于，如何从少量固定视角的画面中推断出未拍摄角度的场景信息。这一过程需要同时处理三维结构理解、遮挡关系、光影变化等复杂因素。现有方案分为两类：一类是基于神经辐射场或三维高斯泼溅的方法，需针对每个场景单独训练模型，生成时间长达数分钟；另一类采用通用模型直接推算，虽速度快但精度不足，易出现重影或几何扭曲。3DTV系统试图在两者间找到平衡，实现无需场景适配的实时高质量合成。
系统首先通过几何学方法解决摄像机选择问题。研究团队引入德劳内三角剖分算法，将所有摄像机位置投影到二维平面，用接近等边的三角形连接各点。当目标视角确定后，系统通过穆勒-特朗博尔射线-三角形相交算法快速定位包含该点的三角形，其三个顶点即为最优的三台源摄像机。针对环形摄像机阵列，团队设计了两步投影流程：先将摄像机位置投影到圆柱面消除径向偏差，再透视投影到水平面进行三角剖分。实验表明，将原点设在圆柱轴线下方1米、投影平面设在圆柱顶端上方1米时，剖分结果最接近等边三角形。
深度估算采用“粗到细”的金字塔策略。系统设置7个层级，从最低分辨率开始逐步细化。第7层在0.5米至8.5米范围内均匀设置32个深度候选值，后续层级搜索范围缩小至上一层预测值周围的小窗口内。每个层级通过计算三台摄像机特征图像的相似度确定深度，相似度高的候选值更可能是真实深度。系统还引入先验引导机制，将上一层的中间特征传递至当前层作为参考，提升估算效率与精度。
特征提取环节采用GhostNet和GhostNetV2架构，通过深度可分离卷积生成“幽灵特征图”，大幅降低计算成本。骨干网络为每台摄像机生成7个层级的特征金字塔，与深度估算层级对应。最深层特征图加入L-ASPP模块，用多尺度卷积核捕捉全局上下文信息。特征融合时，置信度预测网络根据摄像机方位信息生成权重图，对三台摄像机的特征进行加权求和。
图像合成同样采用金字塔式解码器。每个层级接收融合特征、深度图、透明度图及上一层的潜变量特征，输出新的潜变量。最终在第1层通过精化头生成RGB图像。训练过程中，团队设计了七种损失函数，涵盖像素级重建、几何一致性、感知质量等维度，并在不同训练阶段动态调整权重。模型先在512×512分辨率下训练100轮，再在1024×1024分辨率下微调25轮，使用单张NVIDIA A40显卡完成。
为解决真实数据深度标注困难的问题，研究团队构建了包含24753个样本的合成数据集。数据集涵盖357个三维资产，包括沙发、化学实验台等室内物体，以及通过HumanGenerator3D插件生成的虚拟人物。摄像机布置完全随机化，目标视角在三角形内随机采样，并在深度方向加入抖动。数据增强环节模拟了色彩偏差、背景噪声、镜头模糊等真实采集中的常见问题。
在六个公开数据集的评测中，3DTV系统表现优异。在人体捕获类数据集上，其PSNR指标超过GPS-Gaussian和FrugalNeRF等方法，与ENeRF基本持平。运行效率方面，TensorRT优化后的版本推理时间仅24.5毫秒，峰值显存占用2.2GB，实现每秒40帧的实时运行。研究团队将完整配置与模型权重开源，确保结果可重复性。
消融实验验证了各设计组件的必要性。减少至两台摄像机时，PSNR指标下降约2个单位；特征通道数减半导致高频纹理细节变差；金字塔层级减少至3层时，PSNR急剧下降。实验表明，残差深度更新机制是系统稳定运行的核心，三视角输入和金字塔深度估算对质量提升贡献显著。
尽管3DTV系统在室内场景中表现突出，但其适用范围仍存在局限。当前训练数据深度范围局限于0.5米至8.5米，难以处理开放户外环境或大尺度场景。在视角外推场景中，系统稳定性和质量会显著下降。遮挡复杂场景中，深度估算易混淆，导致前景与背景特征渗透。研究团队提出，增加特征图密度或引入时序特征传播是潜在改进方向。
