人工智能领域的进步持续推动着大型语言模型（LLM）的应用边界，然而，传统的自回归生成方式因其逐个生成token的低效过程和对并行计算能力利用不足而面临挑战。近期，卡耐基梅隆大学与英伟达携手，推出了一种名为Multiverse的新型生成模型，这一创新旨在颠覆现有的LLM推理模式，实现真正的并行生成。
Multiverse不仅仅着眼于提升生成速度，更是从根本上重新设计了模型的架构。研究团队洞察到主流大语言模型在生成过程中隐含的并行性潜力，并据此构建了Multiverse框架。该框架借鉴了MapReduce的设计理念，将生成流程细分为任务自适应分解、子任务并行执行及结果无损合并三大阶段。这一精心设计的流程确保了计算资源的最大化利用，显著提升了推理效率。
实验数据揭示了Multiverse模型的显著优势。在相同上下文长度下，Multiverse-32B模型相较于自回归模型，性能提升了近2%。更令人瞩目的是，Multiverse在扩展性方面表现出色，能够在不同批量大小下实现最高两倍的速度增益。为了促进这一成果的广泛传播与应用，研究团队慷慨地开源了Multiverse生态系统，涵盖了数据资源、模型权重及训练细节，为其他研究者提供了宝贵的探索基础。
在实际部署中，Multiverse展现出极高的灵活性。它能够根据具体的生成需求进行动态调整，并通过一种专门设计的控制标签，在顺序生成与并行生成之间自如切换，确保了生成内容的连贯性和逻辑严谨性。这一技术的问世，无疑为自然语言处理领域带来了全新的视角和可能，预示着该领域即将迎来又一轮的创新浪潮。
