网购服装时，消费者常陷入这样的困扰：模特展示效果完美，买回家却发现尺码不合，不是过于宽松就是紧绷不适。如今，一项由美国科研团队完成的研究，为破解这一难题带来新希望。该研究通过构建大规模数据集与开发新型AI模型，让虚拟试衣技术能精准呈现不同尺码服装的实际穿着效果。
传统虚拟试衣技术存在明显短板。现有技术多是将服装外观直接贴合到模特身上，无论身材是XS还是3XL，模特轮廓与服装外观均保持不变，导致试穿效果失真。例如，XS码紧身T恤穿在高个子身上，袖子短、胸口紧、腰线上移等细节，以及3XL码宽松外套穿在娇小身材上肩线垂、袖子长等问题，现有AI系统均无法准确呈现。研究团队指出，问题根源在于缺乏合适的训练数据。电商网站商品图多展示合身状态，缺乏“穿错码”的样本，导致AI难以学习不同尺码的实际穿着效果。
为解决数据难题，研究团队创建了名为FIT的大规模数据集。该数据集包含超过113万组图片样本，每组样本均附带精确的人体测量数据与服装测量数据，覆盖从极度宽松到极度紧绷的各种穿着场景。数据集涵盖168种不同体型，包括82种男性体型与86种女性体型，尺码范围从XS延伸至3XL，并记录超过15万种上装与外套设计。这一数据集为训练能理解尺码信息的AI模型提供了坚实基础。
FIT数据集的构建依赖物理仿真技术。研究团队使用GarmentCode参数化编程框架，精确描述服装的缝纫图样，如领子大小、袖子长度、腰围尺寸等。通过将为特定体型设计的裁剪图样套用到不同尺寸的人体模型上，并利用物理仿真引擎计算布料拉伸或堆积时的真实物理变化，包括褶皱位置、布料下垂方式、紧绷纹路走向等，从而生成逼真的穿着效果。为解决仿真过程中的技术挑战，研究团队开发了“框架重新对齐”方法，确保仿真能够成功运行。他们还修改了GarmentCode的默认行为，让系统先单独模拟下装形变，再叠加上衣，实现上下装自然层叠关系。仿真完成后，研究团队将3D模型重新姿势化，从528种日常姿势中随机选取一种，使图片更接近真实场景。
物理仿真生成的3D渲染图虽能呈现服装形状与人体轮廓，但质感单一，缺乏真实感。为解决这一问题，研究团队设计了“重新上色”流程。他们利用法线贴图记录物体表面点的朝向信息，将立体形状信息编码成图像。通过训练基于Flux.1-dev的重新上色模型，输入法线贴图与文字描述，输出具有真实质感的人物图片，同时保持服装形状与人体轮廓不变。研究团队还补充了细节处理步骤，如为3D人物模型添加真实面部特征、发型与鞋子，整合部位法线信息到合成法线贴图中，以及准备72种不同布料类型，随机选择注入文字描述，增加布料多样性。
训练虚拟试衣AI需要配对数据，即同一个人、同一姿势穿着不同衣服的图片，并配有衣服平铺图。然而，现实世界中几乎无法找到这样的配对数据。现有解决方案多是用AI“假造”配对图，但假造图可能存在错误，影响模型训练效果。FIT数据集的合成流程天然解决了这一问题。研究团队固定同一个3D人体模型与姿势，仅换上不同衣服，即可得到真正配对的图片对。在此基础上，他们设计了身份保持生成流程，通过遮掉主图中衣服覆盖区域，保留头部、背景、手臂等非服装区域形成“身份底图”，再结合目标衣服的法线贴图与文字描述，让重新上色模型在保持身份底图细节的前提下，生成穿着新衣服的效果。至于衣服平铺图，研究团队则用另一个AI工具直接从试衣图片中“脱下”衣服生成。
有了高质量训练数据，研究团队开发了名为Fit-VTO的AI模型。该模型输入包括平铺商品图、穿着者参考图与一组测量数值。测量数值包含七个维度，人体侧有身高、胸围、腰围、臀围，服装侧有衣长、胸宽、袖长。为让AI理解这些数字，研究团队设计了专门的“测量值编码器”，采用傅里叶特征嵌入技术，将单个数值扩展成一组有规律变化的波形信号，让神经网络更容易捕捉数值间细微差异。在模型架构上，Fit-VTO基于Flux.1-dev的多模态扩散变换器骨架，人物参考图编码与目标图片在通道维度上拼接，服装图编码与其他信息在序列维度上拼接。整个模型只需训练少量LoRA参数，节省大量计算资源。
为检验Fit-VTO的表现，研究团队在VITON-HD数据集与FIT测试集上进行了测评。在配对图片生成质量方面，Fit-VTO的“遮掩区域L1距离”得分为1.61，明显优于语言模型方法、虚拟试衣模型方法与修复模型方法。在试衣质量方面，Fit-VTO在FIT测试集的几乎所有指标上均表现最佳，特别是在衡量尺码准确性的IoU指标上，得分为0.955，远高于次优方法。在VITON-HD数据集上，Fit-VTO未微调时综合表现与专门训练的IDM-VTON相当，微调后则在绝大多数指标上进一步超过IDM-VTON。消融实验也验证了各个组件的贡献，如真实数据与FIT数据结合、专门测量编码器的必要性等。
尽管研究取得显著进展，但仍存在一些局限。物理仿真对“紧绷程度”的区分能力有限，难以区分“稍紧”与“极紧”这两种体验差异显著但视觉上几乎一样的状态。测量值之间的相关性会限制独立调节单个维度的能力，如单独调高衣长时，模型可能也会顺带加宽衣服宽度。研究团队表示，下一步计划扩展数据集到下装与全身服装，增加姿势与拍摄角度的多样性，以进一步提升虚拟试衣技术的准确性与实用性。
