meta人工智能研究团队（FAIR）近期宣布了一系列在AI感知领域的突破性进展，共发布了五项创新研究成果。这些开源项目覆盖了从视觉理解到3D空间定位，再到协作推理框架等多个方面，为通向高级机器智能（AMI）铺平了道路，为AI如何更深入地理解和感知世界带来了全新视角。
meta感知编码器（Perception Encoder）作为此次发布的核心之一，是一款大规模视觉编码器，其在图像和视频处理方面展现出了卓越性能。这款编码器如同一双“机器之眼”，不仅能够将视觉信息与语言连接起来，还能在复杂甚至对抗性环境中保持高度稳定。它不仅能识别广泛的视觉概念，还能捕捉到细微差别，例如在海底识别隐藏的黄貂鱼，或是在夜间野生动物摄像机中捕捉飞奔的刺豚。在零样本分类和检索任务中，感知编码器的表现超越了所有现有的开源和专有模型，其强大的感知能力还成功迁移到了下游的语言任务中。
与此同时，meta推出了感知语言模型（PLM），这是一个开放且可复现的视觉-语言模型，专为解决复杂的视觉识别任务而设计。PLM基于大规模合成数据和开放视觉-语言理解数据集进行训练，未依赖外部模型蒸馏。为了弥补现有视频理解数据的不足，meta团队还收集了250万个细粒度视频问答和时空标题样本，创建了目前规模最大的同类数据集。PLM结合这些数据和人工标注，创建了一个健壮、准确且完全可复现的模型，提供不同参数规模的版本，非常适合透明的学术研究。
meta Locate3D则是一款端到端模型，能够精确定位来自开放词汇查询的物体。该模型可以直接处理来自RGB-D传感器的3D点云数据，根据文本提示考虑空间关系和上下文，识别并精确定位特定物体实例。meta团队还发布了一个新数据集，包含跨三个广泛使用数据集的13万个语言标注，有效提升了现有数据标注量。meta Locate3D将支持更复杂和高效的机器人系统开发，标志着智能自主机器领域的重要进展。
meta发布了80亿参数的动态字节潜在变换器（Dynamic Byte Latent Transformer）模型权重，这是字节级语言模型架构的重大进步。该架构在各种任务中的表现超越了基于分词器的模型，显著提高了推理效率和鲁棒性，为传统分词方法提供了有力替代方案。
meta的协作推理器（Collaborative Reasoner）框架旨在评估和提高大型语言模型的协作推理技能。这一框架包含一系列目标导向任务，需要两个智能体通过多轮对话完成多步推理。为了改善语言模型的协作推理能力，meta提出了使用合成交互数据的自我提升方法。该方法在多个任务上的性能显著提高，展现了通过协作实现更好任务表现的潜力。
meta FAIR团队通过广泛开放这些研究成果，旨在促进AI开放生态系统的发展，加速技术进步和发现。这些模型、基准和数据集专注于提升机器的感知能力，帮助机器以更快的速度和人类般的智能获取、处理和解释感官信息，为实现高级机器智能奠定了坚实基础。
