阿里巴巴AMAP（高德地图）机器学习团队近日提出一种名为BlockPilot的创新系统，通过动态调整大语言模型推理过程中的“块大小”，在保证输出质量的前提下显著提升生成速度。该研究以预印本形式发布于arXiv平台，论文编号为arXiv:2606.31315，为破解大模型推理效率瓶颈提供了新思路。
传统大语言模型采用“自回归解码”机制，需逐字生成内容，如同打字缓慢的秘书。为突破这一限制，近年出现的“推测解码”技术通过“草稿模型+目标模型”的流水线模式提升效率：草稿模型快速生成候选文本片段，目标模型再批量验证其准确性。然而现有方法均采用固定块大小策略，即无论输入复杂度如何，草稿模型始终生成相同长度的文本片段，导致在开放性任务中频繁出现无效猜测，限制了加速效果。
研究团队通过系统性实验发现，不同任务的最优块大小差异显著。在数学推理数据集GSM8K中，66%样本的最优块大小偏离默认值；在指令跟随数据集Alpaca中，这一比例高达94%。这表明固定块大小策略如同“用同一速度行驶所有路段”，在简单任务中造成算力浪费，在复杂任务中则因猜测错误过多导致效率下降。
BlockPilot的核心创新在于构建了块大小自适应选择机制。该系统在大模型完成输入预处理后，提取最后一个位置的完整概率分布作为特征向量。这些数值反映了模型对下一个词的预测确定性——当概率高度集中于少数词汇时，表明任务规律性强，适合采用较大块；当概率分布分散时，则意味着任务开放性高，需采用较小块以降低错误率。特征向量随后被输入一个仅含两层的多层感知机，该轻量级模型从预设的5个候选值中选出最优块大小，整个决策过程仅需7毫秒。
实验数据显示，BlockPilot在四款主流大模型上均实现显著加速。在Qwen3-4B模型中，确定性解码（温度T=0）场景下平均加速4.17倍，随机采样（温度T=1）场景下加速达4.20倍，超越现有最强固定块大小方案DFlash(16)的3.99倍和3.80倍。在代码生成基准Humaneval上，BlockPilot的验收长度达9.07个字符，较DFlash提升12%。特别值得注意的是，在竞赛数学数据集AIME24的困难场景中，当DFlash因块大小设置不当导致加速比低于1时，BlockPilot仍维持1.48倍正向加速，展现出更强的鲁棒性。
该系统的轻量化设计是其另一优势。在Qwen3-4B模型上，块大小预测器的内存占用仅0.62GB，参数规模约0.32亿，不足主干模型的1%。其推理延迟为7.34毫秒，仅占整体推理时间的4%，却带来平均验收长度从6.31提升至6.59的显著收益。这种“小投入大回报”的特性，使得BlockPilot在保持模型输出质量的同时，实现了效率与资源的平衡。
研究团队通过消融实验验证了设计决策的合理性。将隐藏层宽度从1024扩展至2048可提升性能，但进一步扩大至4096则无额外收益；采用两层网络结构优于单层，但三层网络在部分数据集上表现下降。在输入处理方面，直接使用原始概率分布的效果优于归一化或softmax变换，因为绝对概率值本身蕴含着判断任务确定性的关键信息。这些发现为后续研究提供了重要参考。
从理论层面分析，研究团队构建了“前缀存活过程”模型，将验收长度分解为任务可预测性（γ）和块大小匹配度（r(b,B)）的乘积。该模型证明最优块大小必然集中在训练块大小附近，且具体位置由任务特性决定。这一发现不仅解释了固定块大小策略的局限性，也为自适应机制的设计提供了数学依据。即使预测存在误差，只要候选块大小与最优值接近，损失仍可控制在较低水平，进一步验证了轻量级预测器的可行性。
对于终端用户而言，这项技术意味着更流畅的交互体验。在代码补全、在线教育等实时性要求高的场景中，模型响应速度可提升3至4倍，而输出质量保持不变。研究团队同时指出，该方法在300亿参数级别模型上存在数据构建成本较高的问题——每个样本需运行5次完整推测解码以生成训练数据，未来可通过启发式剪枝等技术优化这一流程。
