ITBear旗下自媒体矩阵:

北卡大学与FieldAI联合研发:AI借“草图预演”打造更真实的物理视频

   时间:2026-01-16 02:00:26 来源:互联网编辑:快讯 IP:北京 发表评论无障碍通道
 

在人工智能视频生成领域,物理规律的一致性始终是制约技术发展的关键瓶颈。由北卡罗来纳大学与FieldAI公司联合研发的SketchVerify框架,通过引入电影拍摄中的"预演-验证"机制,成功破解了这一难题。该系统在生成视频前会先用简化的动态草图模拟物体运动,再由多模态模型评估其物理合理性,最终仅保留符合现实规律的运动方案进行完整视频生成。这项突破性成果已发表于arXiv平台,论文编号arXiv:2511.17450v1。

传统AI视频生成技术常因忽视物理规律导致"穿模"、悬浮等低级错误。例如机械臂抓取物品时可能穿透桌面,抛出的球体在空中突然静止,这些违背常识的画面严重削弱了视频的真实感。研究团队通过对比实验发现,现有主流模型在涉及复杂物理交互的场景中,错误率普遍超过30%,尤其在物体形变和碰撞反应等维度表现欠佳。

SketchVerify框架构建了三级处理机制:首先利用GPT-4.1将用户指令拆解为可执行的子动作序列,如将"机械臂放置胡萝卜"分解为"移动-抓取-放置"三个阶段;随后通过GroundedSAM技术精准识别场景中的可动对象,并创建无动态元素的纯净背景;最核心的草图生成阶段,系统会为每个子动作生成5种不同运动轨迹的简化动画,这些仅包含物体轮廓和运动路径的草图,渲染速度比完整视频快近10倍。

物理验证环节由Gemini 2.5多模态模型担任"裁判",其评估标准涵盖四个维度:牛顿运动定律符合度、物体穿透检测、重力影响一致性及形变稳定性。例如在评估抛物线运动时,系统会检查物体加速度是否符合惯性定律;处理碰撞场景时,则重点监测反作用力是否合理。每个候选方案都会获得0-1分的综合评分,只有得分超过0.7的方案才能进入最终生成阶段。

在WorldModelBench基准测试中,该框架在物理一致性指标上取得突破性进展:物体形变错误率降低17%,重力连贯性和穿透检测均获满分。另一权威平台PhyWorldBench的评估显示,其在物理准确性维度领先第二名18个百分点。更值得关注的是效率提升——完整视频生成时间从传统方法的30分钟压缩至5分钟,计算资源消耗减少90%。

技术实现层面,系统采用ATI-14B扩散模型进行最终视频生成,该模型经过轨迹条件优化,能精准还原预演阶段验证通过的运动路径。在机械臂操作场景测试中,生成视频中物体接触点的空间误差控制在2像素以内,运动平滑度指标提升42%。对于包含多个动态元素的复杂场景,系统仍能保持92%的物理规律遵循率。

该技术已展现出跨领域应用潜力。在自动驾驶仿真测试中,系统可快速生成包含异常天气的驾驶场景视频,帮助算法训练极端条件下的应对能力;教育领域则利用其生成物理实验演示动画,使抽象概念可视化;游戏开发者正探索将其用于自动生成符合物理规则的动画素材库。

当前系统仍存在三维空间处理能力不足、微小物体交互建模精度有限等局限。研究团队透露,下一代版本将引入六自由度运动表示法,并开发基于神经辐射场的3D场景重建模块,以提升对复杂空间关系的处理能力。同时,正在构建更全面的物理规则知识库,通过融合流体力学、材料科学等专项模型,扩展系统对特殊物理现象的认知范围。

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version