在新加坡国立大学、香港中文大学多媒体实验室、北京大学及京东探索研究院的联合研究中，一种名为DOPD（双重在线策略蒸馏）的新型人工智能训练方法被提出，旨在解决传统知识蒸馏中“老师越强、学生越弱”的悖论。该研究通过预印本平台arXiv发布，编号为2606.30626，为AI模型从大型设备向手机、平板等边缘设备迁移提供了新思路。
传统知识蒸馏技术中，研究者常通过“在线策略蒸馏”让大型教师模型实时指导小型学生模型，即学生先尝试解题，教师再根据其思路提供反馈。这种模式虽优于直接背诵教师答案，但当教师被赋予额外辅助信息（如解题提示）时，学生表现反而可能恶化。研究团队将这一现象命名为“特权幻觉”——教师因掌握学生无法获取的信息而表现优异，但学生若盲目模仿这种依赖外部提示的解题方式，将丧失独立思考能力，最终在脱离辅助信息时表现更差。
为区分教师真实能力与信息优势，研究团队提出“特权优势差距”衡量标准：在师生均配备相同辅助信息的条件下，若教师预测概率仍显著高于学生，则说明差距源于能力；若两者概率接近，则差距主要由信息不对称导致。实验表明，删除能力差距最大的20%词汇后，模型学习效率下降50%，而删除低差距词汇或随机删除对结果影响微弱。这一发现证实，高差距词汇是知识传递的核心，低差距词汇则多为冗余信息。
基于上述发现，DOPD将训练词汇按“特权优势差距”及师生预测概率分为四类，并采用差异化策略：对于能力差距小且双方预测概率高的词汇，教师仅提供轻度指导；对于双方均不确定的词汇，学生以自身带辅助信息的版本为参考，避免盲目模仿教师；对于能力差距大且教师预测概率高的词汇，学生全面对齐教师概率分布；对于学生预测概率更高的词汇，则鼓励学生保持探索。这种动态分配机制确保每个词汇得到最合适的教学强度。
实验结果显示，在纯文本场景中，以80亿参数的Qwen3-8B为教师、17亿参数的Qwen3-1.7B为学生，DOPD使小模型平均得分达51.4分，较基础方法提升7.5分，填补89.8%的性能差距，甚至在数学推理和代码任务中超越教师。在图文模型场景中，小模型同样填补69.2%的差距，并在跨规模训练中表现稳健——当教师参数量为学生13倍时，DOPD仍能提升14.1分，而传统方法增益仅3.5分。DOPD在持续学习、跨领域泛化及训练稳定性方面均显著优于竞争方法，例如在三阶段领域切换实验中，模型对新领域提升显著，且对旧知识遗忘极少。
研究还深入探讨了辅助信息（即“小抄”）的形式对训练效果的影响。实验对比了五种提示方式：直接提供答案效果最差（59.5分，低于无辅助信息的63分基线）；分步执行提示因过度依赖细节仅提升0.1分；而仅提供步骤框架的提示使得分跃升至71.3分。在图文任务中，标注目标物体位置（含名称及坐标）的效果优于直接提供图像描述或答案。这表明，辅助信息的价值在于引导模型思考过程，而非直接给出答案——若信息跨越这一界限，将沦为阻碍学习的“作弊工具”。
该研究通过精准识别“有效能力信号”与“信息幻觉”，为AI知识传递提供了更科学的路由机制。其核心启示在于：信息量并非决定学习效果的关键，如何筛选并利用信息才是核心。对于普通用户而言，这一技术或使未来边缘设备上的AI助手在推理、编程等任务中达到顶级模型水平，且无需额外算力支持——正如优秀教师懂得何时传授知识、何时引导学生自主思考，AI的教学艺术同样在于平衡指导与探索。
