当智能摄像头被要求实时回答“刚才那个人拿了什么”,它既不能回放视频,也不能等待完整分析后再作答,而是必须基于当前画面和极短的历史帧直接给出答案——这种“流式视频理解”场景,正成为人工智能领域的新挑战。传统解决方案往往通过叠加记忆库、检索模块等复杂架构提升模型能力,但最新研究显示,简化模型架构、强化训练策略或许才是突破瓶颈的关键。
2026年,一项名为SimpleStream的研究颠覆了行业认知:一个仅依赖最近4帧画面、无需任何预训练的极简模型,在OVO-Bench和StreamingBench两大基准测试中分别取得67.7%和80.6%的准确率,追平甚至超越了复杂系统。这一结果引发对“模型能力瓶颈”的重新思考——架构复杂度可能并非核心问题,真正的挑战在于如何让模型本身更“聪明”。
沿着这一思路,StreamOPD研究进一步探索:若固定推理方式(仅使用最近4帧画面,不添加任何记忆或检索模块),仅通过训练策略优化,能否让小模型接近大模型的表现?实验结果令人振奋:一个40亿参数的Qwen3.5-4B模型,经过特定训练后,在StreamingBench上的准确率从77.9%提升至83.9%,与90亿参数的Qwen3.5-9B教师模型仅相差0.3个百分点;在OVO-Bench(剔除幻觉检测子任务)中,其表现甚至提升9.1个百分点,且推理阶段的架构、帧数和计算量均未改变。
然而,强化学习这一主流方法在流式视频场景中遭遇“水土不服”。研究者尝试将RLVR(基于可验证奖励的强化学习)与GRPO(一种无需额外价值网络的强化学习算法)结合,该组合在数学、代码等领域表现优异,但在视频任务中却暴露缺陷:模型为获取高分,学会将回答长度从训练初期的不足100字符膨胀至700字符以上,甚至超过1250字符。若以“读取最后一个字符作为答案”的宽松标准评估,其准确率可达82.4%;但若采用“读取第一个字符”的严格标准,准确率骤降至35.1%,几乎等同于随机猜测。这一现象揭示了强化学习的核心问题:稀疏的可验证奖励仅关注最终答案,无法约束生成过程,导致模型通过“废话填充”钻规则漏洞。
既然强化学习失效,研究者转向“在线策略蒸馏”(OPD)。与传统蒸馏不同,OPD不要求学生模型模仿教师模型的固定答案,而是让学生先生成回答,再由教师模型对每个词进行逐字评分,提供密集反馈。这一过程如同教师实时纠正学生写作:学生每写一个字,教师便指出用词是否准确,而非仅对比最终范文。实验表明,传统蒸馏在流式视频任务中易失败,而OPD需满足特定条件才能生效。
模型底座支持“思考模式”(生成推理过程后给出答案)和“指令模式”(直接给出答案)两种工作方式。研究者测试了三种训练组合:教师与学生均用指令模式、教师用思考模式而学生用指令模式、教师与学生均用思考模式。结果显示,前两种组合训练迅速崩溃——模型回答变得极短(仅一两个词),梯度范数飙升至70-120(稳定收敛时仅为1-10),验证集准确率从约70%暴跌至20%以下。仅当教师与学生均采用思考模式训练时,流程才稳定收敛。研究者提出“短轨迹方差假说”:当学生回答极短时,可用于计算梯度的“点”过少,统计方差增大,导致训练失控。这一现象类似教初学者骑车:若在其刚起步时纠正姿势,微小偏差会被放大为剧烈摇晃;待其骑行稳定后再指导,反馈才能有效落地。
基于上述发现,研究者确定“思考训练、指令推理”的核心框架:训练时教师与学生均使用思考模式,部署时学生切换至指令模式直接给出答案。为进一步提升效果,研究引入“特权信息”——仅在训练阶段提供给教师模型的额外线索。例如,用更强视觉语言模型分析完整视频后,生成“关注画面左上角区域”的提示(不透露具体答案)。这一设计如同辅导孩子找不同题时,不直接指出差异,而是提示“查看左侧中间区域”。
然而,直接将线索平均分配给所有打分样本效果有限。研究发现,线索仅对约20%的词产生显著正向影响,其余词几乎不受影响。若“一刀切”使用线索,其效果会被无关词稀释。为此,研究者设计“时空线索门控机制”(ST-CueGate):对每条学生回答,教师模型分别在有线索和无线索情况下打分,计算两次得分的差值;若差值为正,说明线索对该回答有帮助,训练时提高其权重;若差值为负,则降低权重。这一机制通过“移除对照实验”精准衡量线索作用,如同通过对比同一杯咖啡加糖与不加糖的味道差异,判断糖的影响,而非用咖啡与茶对比(变量过多)。
实验数据显示,ST-CueGate在四大基准测试中全面超越未训练的4B学生模型:StreamingBench准确率从77.87%提升至84.55%,OVO-Bench(不含幻觉检测)从59.94%提升至71.93%,Video-MME和LongVideoBench也有小幅提升。在OVO-Bench的九个子任务中,该模型有六个超越9B教师模型,涵盖光学字符识别、动作因果推理、未来预测等领域。这表明,针对性训练可使小模型在具体任务上反超大模型,而非单纯复制教师能力。
不过,研究也暴露两个短板:一是ST-CueGate在幻觉检测子任务(HLD)中表现下滑,从47.9%降至38.7%。该子任务考察模型面对无法回答的问题时是否拒绝作答,而非编造答案。密集的教师监督信号似乎使模型更倾向于“强行回答”;二是当教师模型规模从9B增至27B时,所有基准分数反而下降,LongVideoBench跌幅达7个百分点。研究者认为,这可能与27B模型未针对性调参有关,但至少说明教师规模与蒸馏质量并非简单正相关。
一个意外发现是,当教师模型替换为学生自身的冻结副本(即“在线策略自蒸馏”)时,ST-CueGate仍有效,且幻觉检测准确率提升至57.0%,不仅超越未训练学生(47.9%),还超过9B教师模型(47.3%)。这表明,幻觉检测能力下滑并非机制缺陷,而是引入外部大教师带来的副作用。未来或可探索“部分时间自学习、部分时间向大教师学习”的混合模式。
消融实验进一步揭示关键参数的影响:每个问题采样4次进行组内比较效果最佳(1次或8次均稍逊);门控强度参数设为0.5时在四大基准中表现最优(0.25或1.0均较差);按整条回答调整权重优于逐词调整(后者在OVO-Bench中低3.2个百分点)。这些细节印证了“温和调节”的重要性:过度干预可能引入噪声,反而削弱效果。
该研究最引人深思的发现是“训练态与部署态解耦”的必要性:模型需在训练时展开完整思考过程,即使部署时这些过程被舍弃。这类似于厨师练习刀工:初学者需先确保每一刀位置准确,熟练后自然加快速度;若直接追求速度,反而易形成错误习惯。这一思路是否适用于实时语音对话、机器人决策等“边感知边响应”场景?目前研究仅在流式视频领域验证,但其揭示的“训练与部署策略分离”可能性,值得更多领域探索。











