在计算机视觉领域，复杂场景下AI生成图像时的人物属性混淆问题一直困扰着科研人员与用户。当用户希望AI依据一张参考图，按照特定姿势和布局绘制多个各具特色的人物时，常会出现颜色、服装甚至人物特征张冠李戴的情况，就像一场混乱的化妆舞会。哈尔滨工业大学与华为诺亚方舟实验室联合开展的研究，为解决这一难题带来了新的突破。
该研究以预印本形式发布在arXiv平台，编号为arXiv:2606.31924，研究方向聚焦于可控图像生成。现有的一些解决方案，要求用户在每个人物区域上手动画出范围框，或逐一标注每个实例的位置，以此告知AI不同人物的位置信息。然而，这种操作不仅费时费力，对于普通用户而言难度较大，在面对复杂的十几个人物场景时，逐一标注更是难以实现。
针对这一问题，研究团队提出了名为InstanceControl的全新框架。其核心思路是让AI自主理清文字描述和图像区域之间的对应关系，摆脱对人工标注的依赖。借助视觉语言模型，系统能够自动从描述文字中解析出每个人物的属性，同时自动识别图像中每个人物所在的区域，构建起精准的对应机制。研究结果表明，该系统不仅超越了同样无需人工标注的现有方法，甚至在部分指标上超过了需要人工标注才能工作的专业工具。
要理解InstanceControl解决的核心问题，需从AI绘图的工作原理说起。当前主流的图像生成工具，如基于FLUX或Stable Diffusion的ControlNet系列，用户需提供文字描述和“视觉条件图”，系统据此生成图像。视觉条件图告知AI图中元素的空间布局，文字描述则说明元素的样子。但当场景中出现多个实例时，AI缺乏清晰的“实例级别对应机制”，容易混淆文字属性与图像区域的对应关系，就像一个同时被多人交代任务的助理，会混淆指令。
现有的改进方案主要有两种路线。一种是让用户手动提供每个实例的区域标注，再附上对应的文字描述，代表性工具有EliGen、CreatiLayout、Seg2Any等；另一种是完全不做实例标注，依赖模型自身理解复杂场景，以FLUX ControlNet为代表，但在复杂多实例场景下效果往往不佳。InstanceControl则另辟蹊径，引入视觉语言模型作为“中间人”，自动完成原本需要人工完成的实例对应工作。
InstanceControl的工作流程分为两个紧密衔接的阶段。第一阶段的核心任务是在文字描述和视觉条件图之间建立实例级别的精准对应关系，可理解为“先点名，再对应座位”。系统需从复杂文字描述中找出每个实例的属性描述，同时在视觉条件图里找到每个实例对应的区域。然而，这一过程面临挑战，现有的视觉语言模型和图像分割工具主要针对真实照片设计，且要求文字描述和图像内容语义高度一致，但在InstanceControl的应用场景中，视觉条件图可能是黑白边缘线条图，与文字描述存在语义鸿沟。
为解决这一问题，研究团队构建了专用训练数据集，并微调了视觉语言模型，使其具备在“语义不对齐”场景下完成准确对应的能力。还设计了一种类比式数据增强方法，用另一个AI工具替换图像中的实例，制造大量“文字描述和视觉内容看起来不直接匹配”的训练样本，提升模型的推理对应能力。第一阶段基于Sa2VA架构实现，系统接收视觉条件图和文字描述作为输入，通过视觉语言模型生成格式化文字响应，标记出每个实例的描述短语，并附带分割标记和实例编号，随后提取隐藏向量输入到SAM解码器，得到分割蒙版和置信度分数。其中，“共享SEG标记策略”可确保同一实例在不同句子中被多次提及时，最终只对应一个连贯一致的区域蒙版。
有了第一阶段生成的实例蒙版，第二阶段需将其注入图像生成过程。但第一阶段预测出的蒙版并非完美无缺，可能存在范围不完整、位置有偏差或整个实例被漏掉等问题。为此，研究团队设计了蒙版精炼模块，其工作逻辑是置信度高时相信预测蒙版，置信度低时参考生成模型的“直觉”，即扩散模型内部的交叉注意力图。蒙版精炼模块是轻量级的U - Net网络，输入包括预测蒙版、注意力蒙版、置信度分数和当前图像潜在特征，输出精炼蒙版。得到精炼蒙版后，系统构建“对应蒙版矩阵”，为图像生成模型的注意力机制加上过滤器，确保不同实例的像素与文字标记之间的信息流动精准可控。第二阶段在FLUX图像生成框架上通过LoRA微调实现。
任何AI系统的效果都离不开数据支撑，InstanceControl的训练数据构建是一项复杂工程。研究团队从SAM数据库、COCO数据集和UniWorld - V1数据集中精选五万张图像及其分割蒙版，过滤无效蒙版，保证每张图实例密度合理。随后，调用Gemini 2.5 Pro生成详细长文本描述，确保每个实例都有细致属性刻画，并精确提取对应每个实例的关键名词短语，建立文字到蒙版的对应关系。最后，利用图像生成编辑工具制造超过一千个“语义相似但视觉内容被修改”的对比样本，增强模型的泛化能力。同时，为每张图提取三种不同类型的视觉条件，使InstanceControl对多种视觉条件具备泛化能力。
研究团队在两个评测基准上对InstanceControl进行了全面测试，并与六种现有方法展开对比。评测指标覆盖空间对齐度、区域质量和全局质量三个维度。结果显示，在不需要人工标注的方法中，InstanceControl相比FLUX ControlNet提升显著。以canny边缘条件为例，空间对齐度、颜色准确率、形状准确率、纹理准确率、Local CLIP分数均有提升，FID分数降低。在深度图和HED条件下，提升幅度相似。更值得关注的是，InstanceControl（不需要人工标注版本）甚至超过了部分需要人工标注的方法。在与Qwen - Image ControlNet和Nano Banana的对比中，InstanceControl在多项指标上均表现更优。
为证明每个设计决策的有效性，研究团队进行了系统性消融实验。关于共享SEG标记策略，对比实验表明不使用该策略时，多项指标下降，说明其对最终生成效果有实质性贡献。关于蒙版精炼模块，实验对比了三种蒙版方案，结果显示精炼模块效果最佳，能够处理复杂场景中多实例之间的交互关系。研究团队还分析了第一阶段和第二阶段的关联，第一阶段分割效果与第二阶段属性准确率呈正相关，蒙版精炼模块对不完整蒙版具有较强鲁棒性。
考虑到自动预测并非万无一失，研究团队为InstanceControl设计了交互修正机制。当系统生成的精炼蒙版效果不理想时，用户可在视觉条件图上点击一个点或画出一个边界框，给出额外位置线索，系统会结合用户输入重新预测蒙版，提升生成图像的准确性。例如，在场景中有三件外套并排放置，其中一件是红色派克大衣，自动预测蒙版不准确时，用户点击该区域，系统就能重新生成准确蒙版，还原红色派克大衣的视觉特征。
InstanceControl解决的核心问题是AI图像生成领域的“属性张冠李戴”困境，其解决方式优雅且实用。对于普通用户，使用AI绘图工具绘制复杂场景时，无需手动标注即可期待人物颜色、服装和细节被精准还原；对于内容创作者、游戏开发者、影视从业者等专业用户，这项技术的实用价值尤为突出。有兴趣深入了解技术细节的读者，可通过arXiv编号2606.31924找到完整论文，项目主页地址为instancecontrol.github.io/InstanceControl。
