苹果公司与加州大学圣迭戈分校的科研团队联合提出了一项名为LaDiR的新型技术框架,该成果已通过学术论文《LaDiR:潜在扩散增强LLM文本推理》对外发布。这项创新并非构建全新模型,而是通过叠加式设计优化现有大语言模型的推理逻辑,重点突破传统模型在复杂问题处理中的思维局限。
研究团队创造性地融合了扩散模型与自回归模型的优势,构建出混合生成架构。在推理阶段,系统采用扩散机制并行启动多条独立路径,每条路径从随机噪声出发,通过逐步优化形成连贯的推理步骤;最终输出阶段则切换为自回归模式,确保生成结果的逻辑连贯性。这种设计既保留了并行计算的高效性,又维持了序列生成的稳定性。
该框架的核心突破在于并行推理机制与多样性保障策略。系统在运行时会同时探索多种解题思路,通过特殊设计的鼓励机制防止路径过早趋同,从而构建包含多样化候选答案的解空间。例如在数学问题求解中,不同路径可能分别尝试代数推导、几何分析或逆向验证等策略,最终通过综合评估选出最优解。
实验数据显示,在meta的LLaMA 3.1 8B和Qwen3-8B-Base模型上部署LaDiR后,数学基准测试准确率显著提升,尤其在处理超出训练数据分布的难题时表现突出。代码生成测试Humaneval的结果表明,该框架生成的代码在复杂逻辑实现和边界条件处理上更具可靠性,难题解决能力明显优于传统微调方法。
在谜题规划任务中,LaDiR展现出更强的解空间探索能力,找到正确解的概率超越所有通用基准模型。不过研究发现,在单次尝试准确率指标上,该框架仍落后于针对特定任务优化的专用模型。这反映出通用框架在追求广泛适用性时,在极致专精领域尚存在优化空间。












