在人工智能领域，图像和视频生成模型的运算需求一直是个难题。这类基于“扩散变换器”（Diffusion Transformer，简称DiT）结构的模型，虽然能生成逼真图像和流畅视频，但计算过程需要反复执行大量相同操作，消耗巨额算力和内存。传统压缩技术“量化”虽能缩小模型体积、加快运算速度，却因激活值随输入变化剧烈，导致计算误差难以控制，尤其在图像和视频生成领域，现有方法必须依赖校准数据，费时费力且难以通用。
针对这一困境，一支由多所高校联合组成的研究团队提出了一种名为OrbitQuant的创新方法。该方法的核心思路是将模型内部的激活值通过随机旋转变换到一个固定坐标系，使旋转后的数据始终遵循与输入无关的已知统计分布。基于这一特性，研究团队预先设计了针对该分布的量化方案，无需任何实际运行数据即可通用，彻底摆脱了对校准数据的依赖。这一突破被形象地比喻为“将移动的靶子固定后再瞄准”，解决了量化技术长期面临的动态适配难题。
为实现这一目标，研究团队设计了“随机置换分块哈达玛变换”（RPBH）技术。该技术将旋转分解为两步：首先对数据进行随机位置重排，打乱异常值分布；随后将数据分块，每块单独进行高效的哈达玛变换。这一设计既保证了旋转效果，又大幅降低了计算量——相比传统方法，RPBH的运算速度提升了约26倍，且无需数据维度为2的幂次方，适配性更强。数学证明和实验验证均表明，RPBH旋转后的数据分布与理想目标分布高度接近，量化效果稳定可靠。
在权重量化方面，研究团队将旋转矩阵“吸收”进模型权重中。具体而言，预先计算旋转后的权重矩阵，存储量化后的方向与每行长度，推理时仅需对激活值进行一次RPBH旋转，即可与旋转后的权重相乘，最终结果与未旋转时完全等价。这一设计避免了在输出端进行逆变换，进一步降低了计算开销。
实验结果显示，OrbitQuant在多个主流图像和视频生成模型上表现卓越。在权重4位、激活值4位的设置下，其在图像模型上的综合得分甚至超越全精度原始模型，视频模型的整体一致性得分也位居第一。更令人瞩目的是，在权重仅用2位表示的极限设置下，OrbitQuant仍是唯一能生成有意义图像的方法，而其他对比方法生成的图像几乎全是噪点。OrbitQuant在推理速度和内存占用方面也优势明显，其延迟开销低于所有对比方法，图像生成任务的峰值内存与未量化模型几乎持平。
研究团队还深入探讨了不同旋转方式的影响。实验表明，完整Haar旋转虽效果最佳，但计算量极大；而RPBH在效果与速度之间取得了完美平衡，尤其在低精度设置下，其鲁棒性显著优于不带置换的分块哈达玛变换。这一结果直接印证了随机置换在分散异常值、提升量化稳定性中的关键作用。
针对扩散变换器中的自适应层归一化（AdaLN）特殊层，研究团队采用了单独的INT4精度舍入量化方案。系统测试显示，AdaLN权重降至INT4时几乎无精度损失，而降至INT2时部分模型出现质量下降，表明INT4是兼顾精度与压缩比的理想选择。
尽管OrbitQuant已取得显著突破，但研究团队也指出了当前方法的局限。由于现有硬件不支持直接在量化码上进行矩阵乘法，目前仍需反量化到BF16再计算，未能充分发挥低位运算的速度优势。部分模型在超低精度设置下仍存在质量下降问题，未来或可通过结合少量校准数据进一步突破。这项研究为无需样本数据的极致压缩开辟了新路径，其潜在价值和应用前景值得持续关注。
