在三维建模领域,一项名为MeshFlow的新研究引发广泛关注。该研究由香港城市大学、斯坦福大学、康奈尔科技、德克萨斯大学奥斯汀分校联合完成,相关论文发表于SIGGRAPH Conference Papers '26,论文编号为DOI 10.1145/3799902.3811195,为计算机自动生成高质量三维网格提供了高效解决方案。
三维建模是游戏、电影、动画和工业设计的核心基础。游戏中的角色操控、动画电影里逼真场景的呈现,都依赖由众多小三角形拼接而成的“网格”。专业艺术家制作这些网格不仅耗费大量心血,还需合理分布三角形,如在关节处密集、平坦区域稀疏,以实现流畅动作和高效渲染。然而,让计算机自动生成高质量三维网格一直是棘手难题,MeshFlow研究则给出了出色的解法,能在不到一秒内将随机散乱的三角片整理成结构精良的三维网格模型,速度比此前最先进方法提升18倍。
计算机生成三维网格面临诸多困难。以拼图作比,若面前是一盒打乱且无固定摆放顺序和朝向的三角形拼图碎片,要拼成完整且有意义的图案,如椅子或台灯,难度极大。因为同一个三维网格模型,无论面的排列顺序如何改变,三角形内部顶点顺序怎样调整,最终描绘的都是同一形状,存在几乎无穷多种等价的数学表示方式。传统AI生成方法中,自回归模型像逐字听写的学生,依次生成顶点,虽质量较好但速度极慢,生成一个模型常需十几秒甚至更久,且越到后面越易出错;扩散模型思路类似雕塑家,从噪声出发逐渐“雕刻”形状,理论上可更快,但过去因未考虑网格的对称性,导致模型训练时接收大量矛盾信号,生成质量欠佳。
MeshFlow的核心策略借鉴了整理衣橱的理念。整理衣橱时,若每次都把最相似的衣物叠在一起、放到合适位置,过程会又快又整齐;若随意叠放,衣橱会越来越乱。MeshFlow在训练AI时,每次都找到散乱三角片与目标网格三角片“最合理的配对方式”,让AI学到的信息一致清晰,大幅提升训练效率和最终质量。它采用“等变最优传输流匹配”技术框架,“流匹配”使AI沿尽可能笔直的“流动路径”将随机起点变换为目标网格,路径越直生成步骤越少、速度越快;“等变”让AI始终尊重“顺序无所谓”的特性;“最优传输”负责找到“最合理的配对方式”,保证训练信号清晰一致。研究团队还选用“三角汤”网格表示方式,将网格里的三角形视为独立面片,无固定顺序和连接关系,充分暴露网格的对称性,便于AI利用。
MeshFlow的技术贡献主要体现在神经网络结构和训练目标函数两方面。在神经网络结构上,研究团队对“扩散变换器”(DiT)架构进行关键改造,推出“等变DiT块”。原版DiT类似有“位置偏见”的阅卷老师,会给不同位置的考生不同评分,这在网格生成中会带来严重问题,因为三角片顺序不重要。改造后的等变DiT块先通过“平均池化”将三角形内部三个顶点特征合并为整个三角形的特征,再用不带位置编码的自注意力层让三角形相互“交流”并更新认知,接着将更新后的特征“广播”回顶点并与原特征相加,最后每个顶点特征独立通过前馈网络精细化处理。该设计尊重了面级别和顶点级别的对称性,在数学上对群$G = S_3 wr S_N$具有等变性。团队还加入“面数量条件化”机制,将目标面数编码加入网络条件信号,让AI根据面数目标自适应调整生成策略。
在训练目标函数方面,MeshFlow采用“嵌套耦合”机制。在流匹配训练中,若起点和终点随机配对,AI学习的“路径”会弯弯曲曲,影响训练速度和推理步骤。嵌套耦合先在三角形层面找到最合适的一一对应,再在每对三角形内部找到顶点之间最合理的对应,分两步进行。第一步计算所有噪声三角形和真实三角形两两配对的最小距离,得到N×N的代价矩阵;第二步用“匈牙利算法”解线性分配问题,找到面级别匹配方案,进而确定每对面内部顶点的最优对应。可视化实验显示,嵌套耦合配对后,噪声三角片流向目标三角片的路径几乎不交叉,像有序的大迁徙。同时,团队引入“噪声时移”策略,对高噪声阶段的面数较多网格多花计算资源,进一步提升生成质量,使最小匹配距离(MMD)和1-NNA指标得到改善。
实验结果表明,MeshFlow在速度和质量上都有出色表现。研究团队在ShapeNet数据集的椅子、桌子、长椅和台灯四个类别上测试,与三个主流自回归方法和一个扩散模型对手对比,MeshFlow在四个类别中有三个取得最佳1-NNA分数,在台灯类别1-NNA接近理想值50%。在自相交率方面,MeshFlow经后处理后数值大幅优于多数基线方法。速度上,在NVIDIA A6000 GPU上生成1000个网格,MeshFlow仅需0.877秒,加上后处理总计0.900秒,比最快的自回归基线快18.55倍,且生成网格平均面数多于部分基线方法。在视觉渲染质量上,MeshFlow在椅子和台灯类别取得的FID均优于部分基线方法,证明生成网格视觉质量更接近真实数据。
为验证每个设计选择的有效性,研究团队进行了一系列消融实验。在网络结构消融实验中,对比了四种方案,结果显示完整的等变DiT块在1-NNA指标上表现最佳,且对推理步骤数量更鲁棒。在耦合方式消融实验中,嵌套耦合明显优于独立随机耦合和面级别耦合,训练收敛更快,流场曲率可视化也表明其流动路径更接近直线。
MeshFlow生成的原始输出是各三角形独立存在、顶点无连接关系的“三角汤”,且相邻三角形共享顶点有微小偏差。为将其变成结构清晰的网格,团队设计了两步后处理流程。第一步是神经网络去噪,训练专门去噪器将“带微小噪声的网格”恢复成干净网格,去噪器使用与主网络相同的等变DiT架构,针对不同类别训练时长不同,效果显著,大幅消除自相交和杂乱三角形问题。第二步是顶点焊接,构建k-d树遍历所有顶点,合并距离小于0.015的顶点,删除退化三角形。整个后处理过程高效,仅增加0.0233秒耗时,后处理后平均自相交率降低约56%,1-NNA指标几乎不变。
一个好的生成模型应能生成新颖形状。团队通过“形状新颖性分析”验证MeshFlow的能力,生成500把椅子,找到训练集中最相似椅子并画出最小距离分布图,结果显示多数生成样本处于中高距离范围,说明模型能生成新颖变体。模型还具备“一种几何、多种拓扑”能力,生成外轮廓几乎一致但三角化方式不同的椅子,对动画、物理仿真等下游应用有价值。
MeshFlow在规模扩展性上有一定表现,也存在一些局限。在训练阶段,最优传输耦合的计算时间随面数增长而增加,但在1600个面时仍比网络前向 + 反向传播快,且仅在训练时需要。目前MeshFlow支持最多800个面的网格,能覆盖大量应用场景,但工业级产品网格通常有数万个面,这是需要突破的限制。偶尔会出现面重叠或面缺失等失败案例,框架目前仍需后处理步骤生成完整流形网格,推理时需预先指定目标面数,无法自动判断形状应使用的三角形数量。不过,MeshFlow通过深入理解三维网格特性,将对称性贯穿到网络设计和训练目标中,以较低时间代价达到与先进自回归方法相当的质量,为三维建模领域带来新思路。
Q&A
Q1:MeshFlow生成三维网格和传统方法相比快多少,质量有没有损失?
A:MeshFlow生成一个三维网格不到1秒,比当时最快的自回归方法快约18倍。在质量上,在四个ShapeNet测试类别中有三个类别的1-NNA指标最优,自相交率经后处理大幅降低,整体质量与主流自回归方法相当,明显优于之前扩散模型方法。
Q2:MeshFlow中的“三角汤”表示法和普通的三维网格有什么区别?
A:普通三维网格的三角面有连接关系,相邻面共享顶点,是有拓扑结构的数据;“三角汤”把所有三角面视为独立片段,无连接关系和固定排列顺序,更简单灵活,便于模型处理“顺序无关”特性,生成后通过后处理恢复拓扑连接。
Q3:MeshFlow目前最多支持多少个面,能用于专业的工业级建模吗?
A:目前MeshFlow支持最多800个面的网格,适合概念设计、游戏低模等场景。工业级产品网格通常有数万甚至更多面,超出当前版本处理能力。未来可通过引入基于分块的训练方法和近似最优传输技术扩大支持面数规模。











