谷歌云AI研究团队联合谷歌DeepMind和俄亥俄州立大学的研究者，开发出一款名为"Watch & Learn"（简称W&L）的智能系统，该系统通过观看网络教程视频即可自动掌握各类软件操作技能。这项突破性成果发表于学术平台arXiv，论文编号为2510.04673v1，研究团队由来自三所机构的十余位专家组成，涵盖人工智能、计算机视觉和人机交互等多个领域。
传统AI学习软件操作主要依赖人工标注数据或复杂编程指令，而W&L系统开创了全新的学习范式。该系统无需任何人工干预，仅通过分析视频中连续的屏幕截图变化，就能逆向推导出用户执行的操作步骤。这种"逆向动力学建模"方法将计算机操作学习转化为视觉状态转换识别问题，就像通过观察拼图前后变化来还原操作过程，有效避免了传统方法中多步骤处理带来的误差累积。
研究团队构建了包含53000个高质量操作轨迹的庞大数据库，覆盖办公软件、编程工具、设计软件等69种应用程序。每个轨迹都详细记录了从鼠标点击到文本输入的完整操作序列，相当于为AI提供了数字化的"操作说明书"。这些数据通过自动化流水线收集，结合人工标注的13.2万个样本，形成了超过63万个状态-动作-状态三元组的训练语料库。
系统核心架构包含三个关键组件：动作分类器、坐标预测器和语言生成器。动作分类器能识别点击、滚动等五种基本操作；坐标预测器将屏幕位置离散化为1000个整数区间，提升位置预测稳定性；语言生成器则专门处理文本输入任务。这种模块化设计使系统能够精准解析各类复杂操作，在测试中达到91.6%的动作识别准确率和96.4%的动作类型识别准确率。
在实际应用中，W&L系统展现出强大的泛化能力。当需要执行新任务时，系统会从视频平台检索相关教程，通过过滤机制筛选高质量内容后，利用逆向动力学模型将视频转换为可执行轨迹。这种自动化流程不仅适用于推理时的即时学习，还能通过监督微调持续提升模型性能。实验表明，经过视频轨迹训练的开源模型Qwen 2.5-VL，在计算机操作任务上的成功率从1.9%跃升至13.0%。
基准测试显示，W&L系统在多个领域表现优异。在Chrome浏览器配置、GIMP图像处理等标准化操作场景中，系统能准确复现人类操作步骤；但在VS Code编程、系统级配置等需要复杂文本输入或精细交互的任务中，性能仍有提升空间。研究团队特别指出，当前系统尚不支持拖放操作，这主要受限于训练数据中此类交互的稀缺性。
这项技术为软件自动化领域带来革命性突破。未来用户可能只需演示操作过程，AI助手就能自动完成重复性任务，如数据整理、报表生成等。企业可通过分析专家操作视频，构建智能知识库实现经验传承；教育机构能开发自适应教学系统，根据学习者进度提供个性化指导。研究团队正在探索将强化学习与视频学习相结合，进一步提升系统的自适应能力。
尽管取得显著进展，研究者坦言系统仍面临多重挑战。扩展动作空间以支持拖放等复杂操作、优化轨迹粒度以适应子任务学习、提升文本解码准确性等，都是需要突破的技术瓶颈。如何确保系统学习到安全规范的操作模式，避免传播错误行为，也是实际应用中必须解决的问题。这些挑战为后续研究指明了方向，预示着人机协作将进入更加智能的新阶段。
