meta FAIR部门研究员François Fleuret近期提出一项名为《The Free Transformer》的创新研究，对传统解码器Transformer模型进行了突破性改进。该技术通过引入隐性决策机制，使模型在生成文本前能预先规划全局结构，有效解决了传统自回归模型存在的效率瓶颈。
传统解码器Transformer（如GPT系列）采用逐字生成方式，每个新词都严格依赖已生成的文本序列。以电影评论写作为例，模型需在生成过程中逐步推断评论情感倾向，这种"边写边想"的模式导致两个核心问题：其一，模型需要庞大参数量才能从零散词汇中反推全局意图；其二，早期生成的偏差词汇可能引发连锁错误，导致整体内容偏离主题。更关键的是，情感倾向等核心概念仅作为训练数据的被动映射存在，面对未见过的数据分布时容易失效。
Free Transformer的核心创新在于构建内部决策层。该模型在生成序列前，会先通过变分自编码器（VAE）框架生成随机潜变量Z，这个包含全局信息的变量将指导整个生成过程。以评论写作为例，模型可预先决定生成正面或负面评论，再基于这个决策生成具体内容。这种"先规划后执行"的模式，使模型摆脱了对局部词汇的依赖。
技术实现上，研究团队在标准Transformer中间层注入随机噪声Z，并复用前半部分网络层作为编码器，仅新增非因果Transformer块和两个线性层。这种设计使额外计算开销控制在3%左右，却能带来显著性能提升。非因果结构使编码器能同时观察整个输入序列，有效捕捉全局特征。
在合成数据集实验中，研究人员设计了包含目标字母定位和噪声模式的测试场景。当控制潜变量Z的信息容量时，模型展现出惊人的学习能力：在适度约束下，所有生成序列不仅目标字母位置一致，连随机噪声的出现模式都完全相同。这直接证明了模型能自主提取关键全局信息并编码到Z中。过度约束时出现的序列复制现象，则验证了信息容量控制机制的有效性。
真实场景测试中，15亿和80亿参数规模的Free Transformer在代码生成（Humaneval+、MBPP）和数学推理（GSM8K）任务上均取得显著提升。特别在80亿参数模型中，每个token引入半比特潜变量信息时，性能提升最为明显。万亿级token训练实验进一步证实，该架构在长期训练过程中始终保持优势，推理和数学任务的平均性能稳定超越基线模型。
这项改进与思维链（Chain-of-Thought）技术形成互补：后者通过显式文本进行逐步推理，而Free Transformer则在潜在空间实现隐式规划。研究团队指出，当前训练过程仍存在不稳定性，可能源于编码器-解码器联合优化的耦合效应。未来工作将探索解耦优化策略和多样化潜变量嵌入形式，同时计划在更大规模模型中验证技术有效性。
该研究通过微小架构调整实现性能飞跃，证明即使成熟如Transformer的模型，其自回归机制仍有优化空间。这种让AI从"被动生成"转向"主动规划"的技术路径，为开发更具思考能力的生成模型提供了新方向。
