Loop Engineering火了
乍一听,像是继Harness Engineering之后,AI工程圈又造出的一个新黑话。但两者关注点并不一样:Harness Engineering更像是在给agent搭一套“运行外骨骼”,把工具、上下文、权限、状态、验证和可观测性都组织起来;Loop Engineering关注的则是,这套外骨骼里那条能持续跑起来的闭环——AI如何执行、检查、失败、修正,再继续推进任务。
接到目标,拆任务,调工具,看输出,跑验证,发现错了再改,改完继续测,直到结果过关——这就是一个loop。过去,人坐在模型前面,一句一句问,一轮一轮改;现在,人开始退到系统外面,设计一条能自动运转的闭环,把模型放进去,让它在反馈里自己迭代。
所以Loop Engineering火起来,表面看是agent工程方法变了,本质上是AI的角色变了:从一次性回答问题,变成持续性完成任务。
Coding Agent为什么先跑通?一个很重要的原因,是coding agent先吃到了“反馈红利”。
在软件世界里,AI最容易得到高质量反馈。代码写完能不能跑,测试过不过,编译器报什么错,CI卡在哪里,diff有没有引入回归,review评论说哪里不对,这些反馈天然清晰、密集、便宜,还能反复触发。
这和聊天完全不同。聊天里,用户说“不太对”,模型未必知道哪里错了。但写代码时,错误会变成红色日志、失败用例、异常栈、类型检查、性能指标。也就是说,软件工程天然给agent提供了一套近乎理想的训练场:动作可执行,结果可验证,失败可定位,修正可继续。
更关键的是,coding agent火了一段时间之后,真实人类数据也开始堆起来了。开发者会打断agent、纠正agent、接受或拒绝agent的代码、修改它生成的patch、在PR里留下意见。这些都不是静态语料,而是“人在闭环里如何评价和修正AI工作”的过程数据。
换句话说,coding agent的能力增强,并不只是模型本身更大了。它还吃到了一类软件工程世界里非常奢侈的数据:人类反馈、机器验证、多轮修正轨迹。
这也解释了为什么Loop Engineering会从coding agent语境里先冒出来。因为在代码里,loop不是一个抽象愿景,而是每天都在发生的工程事实。AI写,系统测,人类改,再让AI继续写。一条闭环跑起来,模型就不再只是“会说”,而是开始“会试、会错、会改”。
但机器人没有那么幸运把同样的逻辑搬到具身智能,事情立刻变难。
软件里的反馈是日志,机器人里的反馈是真实世界。杯子有没有滑落,夹爪有没有打偏,力道是不是太大,手腕姿态是不是不对,视角有没有被遮挡,桌面有没有反光,物体有没有发生滚动,环境有没有突然变化——这些都不是一句error message能说清楚的。
更麻烦的是,机器人要学会动作,先得有数据。过去行业最直接的办法,是遥操作。人类操作员控制机器人完成任务,机器人记录视觉、状态和动作,最后拿这些轨迹训练策略。
这条路当然有价值。Open X-Embodiment、DROID这类大规模机器人数据集已经证明,多机器人、多任务、多场景数据确实能提高泛化能力。它们让机器人学习第一次有了类似“大数据预训练”的味道。
但遥操作天然有瓶颈。一个人通常一次只能控制一台机器人。机器人硬件贵,场地贵,采集慢。操作员会疲劳,动作会变形。远程控制有延迟,力反馈不完整,机械臂和人手的形态也不一致。
更关键的是,遥操作数据记录的是“机器人做了什么”,它并不天然记录“人为什么这样操作”。同样是把杯子推正,人可能先看到了杯沿倾斜,再判断重心,再减小力度,再用手腕微调。遥操作轨迹里能看到末端执行器怎么动,却很难看到人类操作策略在脑子里是怎么形成的。
所以,遥操作数据够硬,但不够像人。
Ego数据补上了真实世界,但还没补上反馈既然真机数据贵、遥操作慢,那能不能直接采人?
这就是egocentric data,也就是第一视角人类数据突然升温的原因。人戴上头显、眼镜或摄像设备,在真实环境里做家务、装配、整理、烹饪、维修、工作,系统把人看到的画面、手部动作、物体交互记录下来。
这类数据的优势非常明显:便宜、自然、规模大,而且覆盖大量机器人短期内进不去的真实场景。从Ego4D到Ego-Exo4D,再到最近面向机器人学习的EgoLive、EgoScale、HumanEgo,行业方向越来越清楚:机器人不可能只靠机器人自己采数据,人类第一视角数据会成为具身智能的重要补给线。
但ego数据也有一个关键问题:它大多还是observe-first的。
系统主要看到的是,人看到了什么,人手怎么动,任务有没有完成。可真正的动作闭环,中间还有很多东西没有被记录下来:人什么时候锁定目标?为什么伸向这个物体,而不是旁边那个?动作发起前有没有准备信号?过程中什么时候意识到偏差?力度是如何调小的?失败后为什么切换策略?
这些信息,只靠第一视角视频很难完整还原。视频记录了结果,却没有完整记录反馈;视频记录了动作,却没有完整记录意图;视频记录了“人做了什么”,却没有完整记录“人如何把事情做对”。
这就是具身智能和coding agent最大的差别。coding agent的loop里,反馈被写进测试、日志和人类review;机器人学习的很多human data里,反馈却还停留在画面里,隐含在人类身体和大脑的控制过程中。
AI看见了人类操作,却没有真正拿到人类闭环的运行日志。
人类本身,就是最成熟的闭环系统人做动作,从来不是一条直线。
不是看到杯子,然后直接伸手拿起。真实过程更像这样:眼睛先扫描环境,视线锁定目标;大脑结合任务上下文,形成意图;神经系统把动作准备信号下发到身体;肌肉开始激活,手臂和手指进入执行。与此同时,视觉、本体感觉、触觉和误差信号不断回流。
如果杯子偏了,轨迹会变;如果抓得太轻,力道会加;如果手挡住视线,头会调整角度;如果动作失败,策略会切换。
这就是人类每天都在做的闭环控制:感知、注意、意图、执行、反馈、修正。而具身智能真正想学的,也不只是动作轨迹本身,而是这条闭环策略。
所以问题变了。过去大家问:机器人能不能从人类视频里学动作?现在更值得问的是:能不能把人类动作背后的闭环过程采下来?
这正是脸谱心智Facemind想切入的位置。
从模型里的loop,到数据里的loop脸谱心智此前在世界模型方向做了一次架构尝试,发布了Looped World Models,也就是LoopWM。
它的思路很直接:世界模型不一定非要靠堆更多层来变强,也可以让同一个transformer block反复使用,对latent state做多轮refinement。也就是说,模型不是一次性给出对环境状态的判断,而是在隐藏状态里多想几轮、多修几轮,让世界表示逐步稳定下来。
这和Loop Engineering的精神有点相似。外部agent loop是让AI在工具和反馈里迭代;LoopWM则是让世界模型在内部latent space里迭代。一个是工程系统层面的loop,一个是模型架构层面的loop。
但当这条线走到具身智能,问题还会继续下沉到数据层:如果模型内部可以循环修正,外部系统也可以循环执行,那训练数据是不是也应该包含更完整的循环?
否则,模型学到的仍然只是“动作之后的结果”,而不是“动作如何被反馈修正”。
于是,脸谱心智提出了另一套数据范式:Ego-NeuroLoop。它想采的不是普通第一视角视频,而是人类操作闭环。
Ego-NeuroLoop:把动作执行变成控制系统日志普通ego数据像一部电影。摄像机在人的眼睛附近,记录画面、手、物体、环境,以及任务推进过程。
Ego-NeuroLoop更像一份人类闭环控制日志。它不只问“人做了什么”,还试图记录:人看向哪里,目标什么时候被锁定,动作意图什么时候出现,肌肉如何开始响应,执行过程中哪里发生偏差,人又如何根据反馈继续调整。
为此,它把几类信号放到同一条时间轴上。
world camera记录人与环境交互的视觉上下文:物体在哪里,动作发生在什么场景中,环境状态如何变化。gaze记录人的视线和注意力:目标如何被发现,关键物体何时被锁定,操作过程中注意力如何转移。EEG捕捉神经层信号:动作准备、状态切换、错误感知、注意力变化,都可能在脑电信号里留下线索。sEMG捕捉肌肉激活:手臂、手腕、手指何时发力,力度如何变化,动作执行如何展开。
这样,一个动作就不再只是视频里的几帧画面。它变成一条连续链路:世界状态出现,视线发现目标,大脑形成准备,肌肉进入执行,反馈触发修正,动作继续推进。
如果说传统egocentric data解决的是“机器人如何看见人类做事”,Ego-NeuroLoop试图解决的就是“机器人如何看见人类在反馈里做事”。这两者差别很大。前者是观察,后者才更接近闭环学习。
NeuroMatrix:先高精度采,再低成本放大要采这种数据,第一步是硬件。
脸谱心智设计的数据采集装置叫NeuroMatrix,负责把world camera、gaze、EEG、sEMG等信号同步采下来。这里的核心难点不是单独采某一种信号。摄像头、眼动、脑电、肌电都不是新东西。真正难的是:如何把它们变成可规模化的具身智能数据生产系统。
高精度EEG和sEMG设备往往贵、重、复杂,不适合大规模部署。低成本设备又容易带来噪声、漂移、接触不良和信号不同步。
NeuroMatrix的思路,是先用高精度版本建立底座。通过高精度采集,系统先学习人类动作意图、神经信号、肌肉执行和视觉上下文之间的对应关系。换句话说,先画出一张“人类闭环信号地图”。
哪些脑区信号和动作准备更相关?哪些头皮电极通道最关键?哪些肌肉区域能更好反映手臂、手腕、手指动作?哪些gaze模式经常出现在动作发起前?有了这张地图,硬件就可以反向收缩:减少电极数量,压缩传感器点位,保留最关键的通道,把原本实验室级、昂贵、复杂的采集能力,逐步推向更低成本、更容易部署的形态。
这一步解决的是采集半径问题。如果闭环数据只能在少数实验室里采,它很难成为机器人训练资产。只有当采集设备足够便宜、轻量、可部署,人类闭环数据才有机会像ego视频一样真正规模化。
NeuroBooster:给神经信号做一个“VLM”但低成本设备一定会带来新问题。
EEG会受电极阻抗、头动伪迹、接触质量影响;sEMG会受佩戴位置、肌肉串扰、动作噪声影响;gaze会漂移,会短时丢失;视觉会遮挡,会模糊,会受光照变化影响。
所以第二层能力,是NeuroBooster。可以把它理解成“神经信号的VLM”。
VLM做的是图像和语言的对齐:一张图里有什么,对应怎样的语义。NeuroBooster做的是视觉、视线、EEG、sEMG的对齐:一个动作里发生了什么,对应怎样的闭环过程。
它要学习的不是“图像—文本”映射,而是“环境—注意—意图—执行—反馈”的映射。
在训练过程中,NeuroBooster会先利用高精度NeuroMatrix形成的信号地图,学习不同模态之间的时间对齐关系和语义对应关系。然后围绕手臂、手指等操作动作,建立脑区信号、头皮电极通道、肌肉区域、视觉目标区域之间的配对关系。最后,它还要对低成本、低信噪比、不同步的数据做增强和重建。
当EEG信号弱时,gaze和sEMG可以提供目标与执行线索;当sEMG噪声大时,视觉和EEG可以帮助判断动作阶段;当gaze漂移时,world camera和动作状态可以补回目标上下文;当视觉被遮挡时,EEG和sEMG仍然可能保留动作意图和执行信息。
最终,模型拿到的不再是一堆孤立传感器数据,而是一条被同步、对齐、增强、结构化的闭环时间轴:环境里有什么,目标在哪里,意图什么时候出现,肌肉如何响应,动作如何展开,反馈如何发生,下一步又如何修正。
这才是Ego-NeuroLoop想变成训练资产的东西。
具身智能缺的不是更多视频,而是更多反馈Ego-NeuroLoop并不是要替代现有ego-centric或human-centric数据。恰恰相反,它更像是在这些数据上补一层缺失的反馈信号。
第一视角视频已经很重要。它带来了真实场景、真实任务、真实人类行为,也让机器人学习可以摆脱一部分真机采集限制。但如果只有视频,模型主要学到的是观察和结果。
如果加入gaze,它开始知道人类注意力在哪里;如果加入EEG,它有机会捕捉动作准备和状态切换;如果加入sEMG,它能看到肌肉执行和力度变化。如果这些信号被放到同一条时间轴上,模型才可能进一步学习人类闭环策略。
这件事对机器人很关键。因为真实世界里的动作,不是“看见目标,然后执行动作”这么简单。机器人要学会在复杂环境里找真正相关的目标,要在动作发起前形成可执行意图,要在执行过程中根据反馈微调,要在失败后切换策略,而不是机械重试,还要知道什么时候继续,什么时候停下,什么时候换一种办法。
这些能力都不是单帧视觉能解决的。它们需要一条从目标到意图、从意图到执行、从执行到反馈、从反馈到修正的连续链路。
这也正是Loop Engineering对具身智能的启发:智能不是一次性输出,而是在反馈中不断逼近正确结果。
最后Loop Engineering今天突然火,不只是因为AI圈又发明了一个新词,而是因为coding agent先让大家看到了闭环的威力。
当AI能写代码、跑测试、看日志、修bug、接受人类review,再继续迭代,它就不再只是一个聊天模型,而开始变成一个能工作的系统。
具身智能也在走向同一件事。只是机器人面对的不是编译器,而是真实世界;不是单元测试,而是视觉、触觉、力、姿态、遮挡、滑落和失败。
这也是为什么遥操作数据不够,普通ego数据也还不够。前者太贵太慢,后者更像观察,缺少人类反馈和意图过程。
未来机器人真正需要的,可能不是更多“人类动作录像”,而是更完整的“人类闭环数据”。
从LoopWM到Ego-NeuroLoop,脸谱心智想讲的故事也正在这里收束:模型架构要能loop,agent系统要能loop,训练数据也要把人类的loop采下来。
因为如果机器人未来要像人一样理解世界、组织动作、利用反馈、持续修正,那么第一步,可能不是先让机器人动起来,而是先把“人类到底如何把动作做对”记录清楚。











