当人类观看无声视频时，总会下意识脑补对应的声音；聆听录音时，眼前也会浮现相关画面。这种将视觉与听觉信息自然关联的能力，源于大脑对多模态信息的统一处理机制。然而，现有AI在生成音视频内容时，却因采用独立的视觉与听觉处理系统，导致枪声与开枪动作错位、口型与语音不同步等"声画脱节"问题。香港科技大学研究团队提出的AVTok技术，通过构建统一的多模态表示框架，为解决这一行业难题提供了创新方案。
传统双分支架构如同设立两个独立翻译部门，视觉系统与听觉系统各自将输入内容转化为数字代码，再由生成模块分别输出画面与声音。这种设计导致两个系统在特征空间中形成明显隔离，研究团队通过t-SNE降维可视化发现，视频特征点与音频特征点在二维平面上呈现聚类分布，中间存在显著空白区域。这种天然的表示差距，使得后续生成模型难以实现精准对齐。
研究团队提出的解决方案是建立跨模态统一表示体系。他们借鉴视觉领域的一维序列编码技术，将三维视频数据压缩为1024个离散代码，同时将音频频谱图转化为128个离散代码，所有代码共享同一本"词典"。这种设计既保留了视频的时间序列特性，又与音频的一维编码格式兼容，为跨模态特征融合奠定基础。实验数据显示，采用统一表示后，视频特征与对应音频特征在特征空间中的距离显著缩短，狗叫声与犬类画面特征开始出现重叠区域。
在架构设计上，AVTok采用双流变压器结构，共享核心编解码器参数的同时，为视觉与听觉模块配备专属的归一化层和查询向量。这种设计既保证跨模态信息通过共享参数进行隐性交互，又通过专属组件维持各模态特征独立性。解码阶段，视频流与音频流分别使用不同数量的查询向量重建原始内容，最终通过声码器将音频频谱图转换为可听声音。对比实验表明，单流架构会导致音频重建质量下降32%，而双流设计有效解决了这个问题。
针对视觉与听觉信息密度差异导致的训练失衡问题，研究团队开发了三阶段分层训练策略。首阶段专注视频流训练，建立稳固的潜在表示空间；次阶段冻结共享参数，单独优化音频专属组件；末阶段进行联合微调。这种渐进式训练方式，使音频重建质量的rFAD指标从8.48优化至5.93，同时保持视频重建质量稳定提升。为进一步增强跨模态对齐，研究引入预训练的CAV-MAE Sync模型作为监督信号，通过表示对齐损失函数，强制AVTok提取的特征与基础模型特征保持相似。
在生成任务应用中，AVTok展现出显著优势。其208.4M参数的分词器与632M参数的生成模型，可同时支持音频到视频、视频到音频以及类别条件联合生成三种任务。在VGGSound数据集测试中，音频到视频生成的gFVD指标达到150.26，较扩散模型降低81%；视频到音频生成的gFAD指标为49.47，参数量仅为对比模型的一半。联合生成任务中，AVTok以138.80的gFVD和56.58的gFAD大幅领先，生成效率较传统方法提升数倍至数十倍。
尽管取得突破性进展，研究团队也指出当前技术的局限性。现有模型仅能处理128×128分辨率视频和约4秒音频片段，面对复杂场景时可能出现生成瑕疵。时间同步机制依赖隐性参数共享，在对口型等高精度任务中仍有提升空间。分阶段训练策略虽有效但操作复杂，未来需探索端到端训练方案。这些挑战也为后续研究指明方向，统一多模态表示与分流架构设计的结合，或将成为突破大参数双分支模型的关键路径。
