大语言模型近年来在自然语言处理领域取得显著进展，但其庞大的参数量和存储需求成为实际应用中的一大障碍。近期，一项由独立研究者与aiXplain公司合作完成的研究提出了一种名为ARCHead的创新方法，旨在解决大语言模型输出层存储占用过高的问题，为模型轻量化部署提供了新的思路。
大语言模型的工作机制可类比为一座大型工厂，输入文本经过多层复杂处理后，在出口处生成预测的下一个词。这个出口被称为语言模型头（LM-head），其核心功能是将隐藏层输出的信号映射到词汇表中每个词的概率。现代大语言模型的词汇表规模庞大，以Qwen3-8B-Base模型为例，其词汇表包含151,936个词，隐藏层维度为4,096，导致LM-head的存储需求高达1.18GB。类似地，Gemma-4-E4B模型的LM-head存储需求也达到1.28GB。
尽管已有多种模型压缩技术被提出，如GPTQ、AWQ和bitsandbytes NF4等，这些方法主要聚焦于压缩模型内部的Transformer块，通过降低参数精度来减少存储需求。然而，LM-head通常仍以原始的高精度BF16格式保留，成为模型存储优化的“盲区”。研究团队发现，即使使用AWQ或bitsandbytes NF4压缩后的模型，其LM-head仍占据大量存储空间，成为模型轻量化的瓶颈。
LM-head之所以难以压缩，源于其位置的敏感性。模型内部的误差可通过后续层进行修正，但输出层的误差会直接影响最终预测结果，导致模型性能显著下降。因此，如何在不显著损失模型质量的前提下压缩LM-head，成为研究的关键挑战。
研究团队提出，LM-head压缩的难点在于模型激活分布的各向异性——即隐藏状态在不同维度上的活跃程度差异显著。某些维度频繁参与计算，而另一些维度则几乎不活跃。传统压缩方法对所有维度一视同仁，导致重要维度的误差被放大，影响模型性能。ARCHead的核心创新在于将激活分布的不均匀性纳入压缩设计，通过优化误差分配，在关键维度上保留更高精度，从而在低存储成本下维持模型质量。
ARCHead采用“三明治”压缩方案，包含三层结构：量化低秩核心、整组INT4残差和激活度量低秩修正。量化低秩核心通过低秩分解将原始矩阵近似为两个更窄矩阵的组合，分别用5位和8位整数存储。整组INT4残差对分解误差进行粗粒度补偿，使用带符号的4位整数和组缩放因子存储。激活度量低秩修正则通过分析模型激活分布，对残差矩阵进行优化，使其在活跃维度上更精确，在不活跃维度上允许更大误差。最终，修正因子通过行级INT8和组级INT8量化存储，进一步减少存储需求。
实验结果表明，ARCHead在多个大语言模型上实现了显著的存储压缩。以Qwen3-8B-Base为例，其LM-head的存储需求从1187MB压缩至303.96MB，压缩比达3.905倍。类似地，Gemma-4-E4B、VibeThinker-3B、Mistral-7B-v0.3和LFM2.5-8B-A1B等模型的压缩比均集中在3.7至3.9倍之间，验证了方法的普适性。
在模型质量评估方面，ARCHead在保持低存储需求的同时，将质量损失控制在极小范围内。以Qwen3-8B-Base为例，ARCHead的相对困惑度仅增加0.7%，而同等存储的简单INT4量化会导致相对困惑度上升15%以上。在下游任务测试中，ARCHead在HellaSwag、TruthfulQA MC2和WinoGrande等基准上表现稳定，与原始模型差距微小，验证了其在实际应用中的可行性。
ARCHead的另一优势在于其与现有压缩工具的兼容性。研究团队验证了ARCHead可与AWQ、bitsandbytes NF4等工具无缝叠加使用，进一步减少模型存储需求。例如，在AWQ 4位量化后的Qwen3-8B-Base模型上，替换原始BF16头为ARCHead后，相对困惑度仅从1.0465上升至1.0530，额外交叉熵损失仅为0.006，表明ARCHead在已压缩模型上仍能发挥显著作用。
研究还对ARCHead的校准数据需求进行了分析，发现约4,000个词元的校准数据即可达到稳定效果，降低了实际部署的门槛。在推理速度方面，ARCHead对模型吞吐量的影响在2%以内，几乎可忽略不计，进一步验证了其工程实用性。
尽管ARCHead在LM-head压缩领域表现出色，但研究团队也指出其局限性。例如，该方法仅适用于输出投影层，不适用于Transformer内部的MLP或注意力层权重；其收益在LM-head对低位量化不敏感的模型上可能有限；持久存储节省不等同于运行时峰值显存节省等。未来工作将聚焦于更广泛的模型架构、多语言校准数据、系统化下游任务评估以及生产级内核优化等领域。
对于普通用户而言，ARCHead的意义在于显著降低了大语言模型的存储需求。在本地电脑或消费级显卡上运行量化大模型时，原本占用近1GB显存的输出层可被压缩至四分之一大小，而模型输出质量几乎无感知差异，为大语言模型的普及应用提供了有力支持。
