加拿大滑铁卢大学电气与计算机工程系团队在人工智能图像生成领域取得突破性进展，提出“生成内容丰富化”（Generated Contents Enrichment，简称GCE）框架，通过结构化场景图实现图像生成前的显式“脑补”过程。相关研究以arXiv预印本形式发布，编号为arXiv:2405.03650，最新版本更新于2026年6月30日。该框架试图缩小AI生成的图像与真实世界场景之间的“语义丰富性鸿沟”，例如将“地板在水槽下面，墙上有个相框”的简单描述，转化为包含毛巾、镜子、窗户等细节的完整浴室场景。
传统AI图像生成系统依赖直接翻译文字描述，导致生成的图像往往缺乏真实场景的复杂性。研究团队指出，人类能通过直觉自动补充场景细节，而AI缺乏这种能力。GCE框架的核心创新在于将“想象”过程显式化：首先将文字描述转换为初始场景图，再通过生成对抗网络（GAN）机制丰富图中的物体和关系，最终根据完整场景图生成图像。这一过程类似厨师先列出食材清单和烹饪步骤，再开始烹饪，而非直接凭感觉操作。
场景图作为框架的基础，是一种记录物体及其关系的关系网络图。例如，在描述“树和街道”的场景中，初始场景图可能仅包含“树”“街道”两个节点及一条关系边；经过GCE丰富后，可能新增“电线杆”“汽车”“建筑”等节点及“汽车在街道上”“电线杆旁有路标”等关系边。研究团队强调，场景图的显式结构使其区别于自然语言描述或像素数据，便于分析和验证生成内容的合理性。
为实现这一目标，团队设计了三阶段联合训练框架：第一阶段通过场景图丰富器（$G_{sg}$）和评审器（$D_{sg}$）的对抗训练，逐步添加新物体和关系；第二阶段将丰富后的场景图转换为文字描述，输入固定的Stable Diffusion图像生成器渲染图像；第三阶段利用视觉场景特征器和图像文本对齐器，确保生成图像与原始描述在场景特征和语义上保持一致。训练过程中，系统从Visual Genome数据集中学习真实场景的物体-关系组合规律，通过移除图中一个物体并预测其结构的方式优化模型。
实验结果表明，GCE框架在多项指标上显著优于基线模型。在物体准确率、边准确率、谓词准确率等图结构预测指标中，GCE分别达到20.60%、75.18%和42.20%，远超SceneGraphGen+等对比方法。图像质量方面，GCE生成的图像在Inception Score（IS）上提升13.74%，Fréchet Inception Distance（FID）改善7.82%-13.12%。值得注意的是，ChatGPT等文本扩展方法虽能生成更长的描述，但因缺乏图像构成逻辑，导致图像质量下降，这一发现挑战了“文字越详细图像越丰富”的直觉假设。
消融实验验证了框架各模块的必要性。移除图像文本对齐器后，物体准确率下降7.5%；移除场景图评审器或其局部判别器，谓词准确率下降10%-12%；移除场景分类器导致物体准确率降至最低的17.88%。尽管数值变化幅度有限，研究团队解释称，这源于GCE任务本身无唯一正确答案的特性，各模块的作用更多体现在联合训练信号的协同配合上。
用户研究进一步支持了GCE框架的有效性。在110名参与者参与的测试中，83.4%的人更偏好GCE生成的图像而非简单描述直接生成的图像；70.82%的人认为丰富图像反映了原始描述的核心内容。尽管AI生成图像与真实照片仍存在差距（仅20.09%的参与者误选AI图像为真实），但GCE在同等渲染条件下显著提升了场景丰富度。例如，对“玻璃装着水，盘子装着披萨”的描述，GCE生成的图像包含桌子、杯子、汽车等物体，而ChatGPT扩展版本虽文字流畅，实际图像却缺乏细节。
研究团队承认，当前系统仍存在局限。由于Visual Genome数据集未标注物体属性（如颜色、材质），GCE无法预测新物体的此类信息，而ChatGPT可通过文字描述补充这类细节，这在一定程度上解释了其在IS和FID指标上的部分优势。固定渲染器的性能限制了图像真实感，但研究重点在于证明结构化场景丰富化对提升场景复杂性的有效性。
该研究为AI图像生成提供了新思路：通过显式建模物体间关系，而非依赖隐式黑箱操作，使生成过程更透明、可解释。论文详细描述了框架设计、训练目标、数据集处理及评估方法，感兴趣的读者可通过arXiv编号2405.03650查阅完整内容。
