玩家按下“向前走”,角色却像被黏住一样缓慢挪动;再按一次,它又突然窜出很远。这种交互式世界模型中的异常表现,被香港科技大学团队归因于一个底层参数——模型不知道一秒钟应当对应多长的虚拟路程。研究将这种固定播放速度与真实运行节奏错位的问题称为时间率耦合:模型被绑定在某一帧率上,一旦硬件吞吐或网络延迟变化,画面中的物理时间就会随之被压缩或拉长。
交互式世界模型可以理解为一种根据按键、镜头移动等输入实时生成后续画面的系统。用户给出动作,模型便推断下一帧应呈现的世界状态。Genie、Matrix-Game等系统已在游戏和开放世界场景中展现出较流畅的实时生成能力,但它们普遍依赖一个默认前提:每一步生成都对应固定的物理时间间隔。部署环境无法稳定维持该间隔时,体验便会出现难以预测的忽快忽慢。
研究归纳出两类直接后果。其一是速率-吞吐量失配。模型训练时可能按每秒30帧的节奏学习,实际运行时却受算力、延迟等因素影响,生成频率可能降到每秒15次;若模型仍按每步1/30秒推进,角色按下前进键一秒,虚拟世界只前进半秒。硬件偶尔跑得更快时,世界又会提前推进。其二是速率-视野权衡。模型一次能处理的帧数受显存和算力限制,帧率调高后,同样数量的帧只能覆盖更短物理时间,动作细节更密,但历史与未来的跨度缩短;帧率调低后,覆盖时间变长,快速转身、射击等细微动作却容易被模糊。
针对这两个问题,团队提出Rate-Adaptive Rollout框架,简称RAR。其核心是把模型每一步跨越的物理时间做成可调参数,并引入stride描述步长。stride为1时,每一步对应最细的时间颗粒;stride增大,单步便跳过更多物理时间。关键在于,这一参数不只在训练阶段设定,在推理阶段也能调整,甚至可在连续生成过程中切换,而不必中断生成或清空已经积累的历史信息。
要让不同步长下的时间线保持一致,还需要改造位置编码。传统Transformer中的旋转位置编码RoPE依赖“第几帧”标注相对距离,但同一段帧序号在高帧率与低帧率下对应的真实时间并不相同。团队提出的Stride-RoPE将帧序号乘以相应stride,换算成以物理时间为单位的坐标,再进行位置编码。这样一来,只要两帧之间的物理间隔一致,不同采样速率下算出的相对位置关系便一致;坐标由连续函数计算,训练时未出现的中间速率也能通过插值处理,而不必为每个速率单独训练模型。
仅有位置编码还不够,模型还需学会在不同速率下如何演化世界。RAR采用多步长采样训练:从同一段视频中以不同stride抽取样本,一部分样本用细密步长捕捉快速动作,另一部分用稀疏步长拉长时间跨度。这样在同一训练序列长度下,模型同时接触短时精细反应和较长时段的场景变化,没有额外增加计算负担。实验显示,在固定训练步数下,RAR模型在14FPS低帧率下的LPIPS从单一速率模型的0.4376降至0.3834,70FPS高帧率下则为0.3135,与单一速率模型的0.3113十分接近。
RAR还支持生成过程中的动态速率切换。团队利用KV缓存保存历史特征,但缓存中存储的是旋转前的原始信息,实际使用时再依据当前累计的物理时间坐标计算旋转角度。设备算力突然下降时,系统可以调大stride,让世界演化节奏跟随实际生成吞吐量,而无需推翻此前生成的历史画面。在FPV第一人称无人机竞速环境中,面对平滑变化的速率曲线,模型跟踪目标曲线的皮尔逊相关系数为0.998;面对突变式速率跳跃,该数值为0.970。
验证场景包括第一人称射击游戏Doom、反恐精英2以及FPV无人机竞速模拟器,覆盖键盘鼠标离散动作与连续摄像机轨迹两类交互方式。在相同生成帧数预算下,将速率从最高档降至最低档,三个环境可覆盖的物理时间分别延长5倍、4倍和3倍,画质损失约为6%至11%。训练中未出现的中间速率同样表现稳定,例如Doom中49FPS与相邻训练速率差别很小,速率保真度指标SR的最大偏差为4%。







