ITBear旗下自媒体矩阵:

WebShaper:通义实验室开源新突破,AI信息检索能力超GPT4.1

   时间:2025-07-29 20:18:58 来源:机器之心Pro编辑:快讯团队 IP:北京 发表评论无障碍通道
 

在人工智能领域,一项名为WebShaper的创新成果近日引发了广泛关注。该项目由通义实验室推出,旨在解决信息检索(Information Seeking,IS)任务中的数据合成难题,并在GAIA评测中取得了开源方案的最高分——60.1分。

WebShaper作为WebAgent的续作,不仅补足了GAIA、Browsecomp等评测中高质量训练数据的缺失,还展示了通义实验室对IS任务认知的深化。从早期的启发式理解到如今的形式化定义,这一转变标志着实验室在AI智能体能力构建上的重大突破。

在WebShaper之前,主流的信息检索训练数据合成方法主要依赖“信息驱动”范式,即先通过网络检索构建知识图谱,再由大模型生成问答对。然而,这种方法存在知识结构与推理逻辑不一致、预检索内容局限导致任务类型覆盖有限等问题。WebShaper则开创性地提出了“形式化驱动”新范式,通过数学建模IS任务,并基于该形式化框架检索信息、合成训练数据。

形式化驱动的优势在于全域任务覆盖、精准结构控制和结构语义对齐。它突破了预检索数据的边界,实现了更广任务、能力和知识的数据生成;同时,通过形式化建模,可以精确调控推理复杂度与逻辑结构,减少数据合成中的错误。

WebShaper的形式化建模基于集合论,提出了“知识投影(Knowledge Projection)”的核心概念。每个IS任务都由知识投影的R-并集、交集、递归操作构成,旨在确定一个由知识投影组合而成的目标集合中包含的实体。这种形式化建模使得WebShaper不再依赖自然语言理解的歧义,而是提供了一个可控、可解释、可扩展的数据合成方案。

在数据合成过程中,WebShaper采用了智能体式扩展合成的方法。它从预先构建且形式化的基础种子任务开始,在形式化的驱动下,将种子问题多步扩展为最终的合成数据。这一过程由专用的代理扩展器(Expander)模块负责执行,通过关键过程(KP)表征来解释任务需求,并实现逐层扩展机制以最小化冗余和防止推理捷径。

为了构建种子任务,WebShaper下载了全部Wikipedia,并在词条中随机游走检索信息,合成基础的种子IS任务。在扩展过程中,它采用了逐层扩展结构,每次扩展都选择叶结点常量进行扩展,有效解决了冗余性和推理捷径的问题。WebShaper还通过搜索、网页摘要、验证等工具自动生成形式化任务,并进行答案验证和复杂度过滤,确保任务正确性和推理链条的严谨性。

基于形式化生成的高质量任务和完整的行为轨迹,WebShaper使用了监督微调(SFT)+ GRPO强化学习策略来训练Agent。最终,模型在GAIA基准任务中获得了60.1分的高分,超越了所有开源方案,并大幅领先第二名的开源方案。这一成绩不仅证明了WebShaper方法的有效性,也展示了开源模型在AI研究中的巨大潜力。

WebShaper的成功不仅在于其技术创新和优异表现,更在于其开源共享的理念。通义实验室相信,用最开放的方式推动最前沿的研究是AI发展的正路。如今,任何人都可以通过GitHub访问WebShaper的代码和数据集,尝试复现这一成果并推动AI技术的进一步发展。

举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  开放转载  |  滚动资讯  |  争议稿件处理  |  English Version