当人类走进一间客厅，视觉系统能在瞬间将空间分解为沙发、茶几、椅子等独立物体，而当前主流的3D场景重建技术却将整个场景视为由无数几何碎片组成的混沌体。延世大学与首尔大学联合提出的"实例结构化3D词元组"框架，通过重构场景表示的基本单元，使机器首次具备以物体为单位理解三维空间的能力。这项发表于arXiv预印本平台（编号2606.29513）的研究，正在重新定义计算机视觉领域对空间认知的底层逻辑。
传统3D高斯溅射技术虽能生成逼真场景，却存在根本性缺陷——其通过数万个半透明气泡记录空间信息，每个气泡仅存储局部几何特征，完全缺乏物体整体认知。即便研究者尝试为气泡添加语义标签，仍面临信息冗余和操作困难：同一物体的数万个气泡重复存储相同信息，修改物体时需逐个调整气泡参数。这种"先堆积木再拼图"的模式，导致物体边界识别依赖复杂的后处理算法，效率低下且容易出错。
新框架创造性地引入双层表示结构：群组词元作为物体"身份证"，记录物体类别、位置和尺度等整体信息；锚点词元作为"详细档案"，每个负责描述物体局部区域的几何特征。通过这种分工，系统在渲染阶段既保持了3D高斯溅射的细节表现力，又从底层构建了物体边界认知。实验显示，该框架在ScanNet数据集上实现开放词汇语义分割精度0.657（mIoU），较传统方法提升近20%，同时将语义信息存储量压缩140倍。
训练过程采用独特的双目标优化策略：系统同时追求渲染图像与真实照片的几何相似度，以及预测物体边界与标注分割图的匹配度。通过"softmax竞争"机制，每个锚点词元自动归属到最相似的群组词元，形成清晰的物体边界。研究团队特别设计的"热身期"训练方案，使系统在前1500步逐步引入物体分割监督，避免早期几何不稳定导致的训练信号冲突。这种渐进式学习策略，使分割性能较无热身期方案提升近200%。
语义信息存储方面，新框架采用"摘要+残差"的压缩方案：每个物体仅存储512维群组级语义特征作为整体描述，锚点词元仅存储8维残差记录局部差异。这种设计使语义检索复杂度与物体数量成正比，而非传统方法的几何基元数量。在开放词汇3D实例检索任务中，系统在物体层面直接匹配查询与群组词元，检索效率较气泡级方法提升数百倍，且返回结果始终为空间连贯的完整物体。
场景编辑能力验证了该框架的实用性。由于物体表示与渲染解耦，修改场景只需操作对应词元组：删除词元组即可移除物体，调整锚点坐标可实现物体平移，引入外部词元组可完成物体插入。在RealEstate10K数据集实验中，系统使用自动生成的伪标签训练后，仍能保持合理的实例分割连贯性，证明其对标注噪声的鲁棒性。这种直接操作物体表示的能力，使复杂场景编辑无需任何后处理或场景特定优化。
消融实验揭示了关键设计的重要性：联合训练较顺序训练使分割精度提升500%，热身期机制贡献30%的性能增益；分解特征提取方案中，群组摘要与锚点残差的组合较单一方案提升4%的分割精度。这些验证表明，双层表示结构、渐进式训练策略和语义压缩方案共同构成了框架成功的基石。
当前研究仍存在局限性：100个群组词元的上限限制了复杂场景表示能力，静态场景假设阻碍了动态环境应用。研究团队正探索每个群组使用多个语义基向量提升表达能力，并计划与大型语言模型结合，实现语言指导的3D场景操作。这种将物体作为基本操作单元的设计，为机器人感知、AR空间交互等领域开辟了新路径——当机器能像人类一样"看到"沙发而非像素集合时，人机自然交互的愿景正逐步成为现实。
