在人工智能领域，理解人类复杂意图和情感一直是一个巨大的挑战。然而，阿里巴巴通义实验室的一项最新研究为这一难题带来了曙光。这项研究由杨启泽领导，并于2025年6月26日在计算机视觉领域的预印本平台arXiv上发表，论文编号为arXiv:2506.21277v1。
在日常生活中，人们常常能从眼神、语调或细微的表情变化中读懂他人的真实想法。但对于AI来说，这种“读心术”却难以实现。现有的多模态AI模型虽然能处理文字、图像、视频和音频等多种信息，但在理解复杂的人类意图和情感时却常常“抓瞎”。它们要么忽略了重要的多媒体线索，要么无法准确理解整体语境。
为了解决这个问题，研究团队开发了HumanOmniV2，这是一个能够真正“读懂”人类复杂意图和情感的AI系统。HumanOmniV2的创新之处在于，它会像人类一样先全面理解整个场景的背景信息，再进行深度推理。这种方法类似于心理咨询师观察来访者的整体状态，包括表情、语调、肢体语言等，以综合理解对方的真实想法。
为了评估AI系统理解人类复杂意图的能力，研究团队专门创建了一个名为IntentBench的测试基准。这个测试基准包含了633个视频和2689个问题，涵盖了日常社交互动中的各种复杂情况。实验结果显示，HumanOmniV2在多个评测中都表现出色，特别是在新创建的IntentBench测试中，得分高达69.33%，超越了所有其他开源的多模态AI模型。
现有的AI系统在理解人类意图时面临两个主要问题。第一个问题是“全景理解不足”，即AI模型往往只能看到局部信息而无法把握整体情况。第二个问题是“走捷径问题”，即AI模型倾向于忽略视频和音频中的重要线索，更多地依赖文本模式来生成答案。这种理解偏差可能导致严重后果，例如AI助手在用户最需要安慰时给出不合适的回应。
针对这些问题，研究团队提出了一种全新的解决方案。他们要求AI系统在回答问题之前，必须先完整地理解和描述整个场景的背景信息。这种方法的创新之处在于引入了一种特殊的响应格式，即“背景理解-深度思考-最终答案”的三步骤回应方式。为了确保AI系统能够准确理解背景信息并进行合理推理，研究团队还设计了“背景奖励”和“逻辑奖励”两种特殊的奖励机制。
为了训练这样的AI系统，研究团队开发了一套完整的训练流程。首先是“冷启动训练”阶段，使用包含详细推理过程的高质量数据来稳定模型的推理能力。然后是两个强化学习阶段，第一阶段专注于背景理解和逻辑推理能力的提升，第二阶段则扩展到更广泛的通用能力。这种分阶段的训练策略确保了模型能够循序渐进地掌握复杂的多模态推理能力。
IntentBench测试基准的设计理念源于一个重要观察：在现实的人际交往中，理解复杂意图往往需要同时分析视觉和听觉信息。IntentBench包含了三个主要领域：社交智能理解、情感识别和欺骗检测。研究团队在构建IntentBench时特别注重质量控制，确保每个问题都真正需要多模态信息才能正确回答。
HumanOmniV2的技术核心在于将强化学习技术巧妙地应用到多模态推理任务中。传统的强化学习方法在处理多模态任务时主要关注最终答案的正确性，而忽略了推理过程的质量。为了解决这个问题，研究团队采用了改进的组相对策略优化（GRPO）算法，并引入了四种不同类型的奖励机制：准确性奖励、格式奖励、背景奖励和逻辑奖励。
实验验证显示，HumanOmniV2在多个测试中均表现出色。在Daily-Omni测试中，HumanOmniV2的总体得分为58.47%，在最具挑战性的“推理”任务中得分大幅提升。在WorldSense测试中，HumanOmniV2的得分为47.1%，在开源模型中排名第一。特别是在新创建的IntentBench测试中，HumanOmniV2取得了69.33%的优异成绩，大幅超越了其他所有测试模型。
HumanOmniV2的成功不仅为学术研究带来了突破，更为AI技术在现实世界中的应用开辟了新的可能性。在教育领域，它可以成为AI老师助手，通过观察学生的表情和语调来判断其学习状态。在心理健康领域，这项技术可能改变在线心理咨询的质量，使AI咨询师能够更准确地理解来访者的情绪状态。在商业客服领域，HumanOmniV2可以帮助打造更有同理心的AI客服系统，理解客户的真实意图和情绪状态。
然而，研究团队也指出了当前技术的局限性，如在某些复杂情况下可能出现错误判断，以及响应格式可能限制模型在推理过程中的修正能力。他们计划在未来继续改进这项技术，包括扩大背景和预训练的规模，探索在推理过程中进行多次验证的方法，以进一步提升模型的性能。
