人工智能语言模型训练领域迎来了一项革新性突破。香港大学与抖音联合团队提出了一种名为"代理压缩"的新型训练范式，通过同时利用压缩数据与原始数据，在保持训练效率的同时显著提升了模型的适应能力。这项研究已在预印本平台arXiv公开，编号为2602.04289v1，为AI系统设计开辟了全新路径。
传统语言模型训练面临两难困境：使用简化处理的压缩文本虽能加速训练，但会丢失关键信息；采用原始文本虽能保留完整语义，却需要消耗大量计算资源。研究团队通过创新设计，让模型在训练阶段同时接触两种数据形态——90%时间处理压缩数据，10%时间接触原始字节数据。这种混合训练方式使模型在部署阶段仅需原始输入，就能达到传统压缩训练的效率水平。
实验数据显示，大型模型在该训练框架下展现出惊人潜力。当模型参数规模达到140亿级时，其处理原始数据的性能已能与传统分词模型媲美，甚至在部分编程任务中实现超越。这种跨格式理解能力源于模型在训练过程中建立的"双语翻译"机制，就像人类同时掌握两种语言体系，能在不同表达方式间自由切换。
研究团队通过对比实验发现，并非所有压缩方法都适合作为"代理"。传统分词和神经网络压缩因能保持语义稳定性而表现优异，而基于gzip的通用压缩算法则因输出波动过大被淘汰。这种特性差异直接影响模型训练效果，为后续技术选型提供了重要参考。
在编程任务测试中，代理压缩模型展现出独特优势。面对代码格式变化、空格调整等干扰因素，其性能稳定性显著优于传统分词模型。更令人惊讶的是，当同时提供压缩与原始版本内容时，模型能实现95%以上的精准对应转换，这种"即时翻译"能力为多模态处理提供了新思路。
技术实现层面，研究团队开发了基于信息熵的并行处理策略，使神经压缩方法的处理速度提升百倍以上。对于传统分词方法，他们发现直接使用分词索引作为输入比复杂编码更有效。训练过程中通过特殊标记区分数据类型，帮助模型清晰识别不同输入形态。
大规模验证实验采用TB级代码语料库进行训练，结果显示代理压缩模型在保持跨格式转换能力的同时，实际编程性能已接近专业领域顶尖模型。这种在效率与能力间取得平衡的特性，解决了长期困扰研究界的计算资源分配难题。
该成果的影响远超技术层面。研究证明AI系统不必受限于单一数据表示方式，训练阶段可采用混合格式提升模型泛化能力，部署阶段回归原始输入确保通用性。这种设计理念可能重塑未来AI架构的发展方向，为构建更智能、更鲁棒的系统提供新范式。
尽管当前验证主要集中于代码生成领域，但研究团队指出该方法具有普适性潜力。对于资源受限的小型模型，他们正在探索优化训练策略，试图在保持效率的同时提升跨格式理解能力。这项探索为不同规模AI模型的训练提供了全新参考框架。
针对读者关心的核心问题，研究团队给出明确解答：代理压缩训练通过建立数据形态间的对应关系，使模型既能享受压缩训练的高效，又能保持原始输入的处理能力；相比传统分词，该方法避免了语言偏见、攻击漏洞等问题，在格式变化时表现更稳定；其效果与模型规模正相关，大型模型能更好发挥跨格式学习优势。
