ITBear旗下自媒体矩阵:

13人团队推出SubQ模型:SSA架构突破Transformer瓶颈,算力成本双降

   时间:2026-05-06 20:22:40 来源:互联网编辑:快讯 IP:北京 发表评论无障碍通道
 

人工智能领域迎来一场潜在颠覆性变革——一家名为Subquadratic的初创公司宣布推出全球首款基于完全亚二次方稀疏注意力架构(SSA)的模型SubQ,其宣称在处理超长上下文时实现计算量千倍级缩减,成本仅为行业标杆模型的5%。这一突破性进展引发学界与产业界激烈争论,部分专家认为其可能动摇Transformer架构九年来的统治地位,另一些人则质疑其真实性。

传统Transformer架构自2017年提出以来,凭借密集注意力机制成为所有主流大模型的基础架构。但该机制存在致命缺陷:每个token必须与序列中所有其他token进行交互计算,导致计算复杂度呈平方级增长。当上下文长度突破百万token时,模型训练与推理成本将指数级飙升,这直接限制了现有大模型处理长文本的能力。

SubQ模型通过SSA架构彻底重构注意力计算范式。该架构摒弃传统暴力计算方式,转而采用动态内容路由机制:针对每个查询向量,模型仅选择语义相关的关键位置进行精确注意力计算,跳过99%以上的无效交互。这种设计使计算复杂度从序列长度的平方级降至线性级,上下文每翻倍仅带来成本线性增长。

实验数据显示显著优势:在百万token场景下,SubQ处理速度比采用FlashAttention-2的密集注意力模型快52.2倍,注意力计算量减少62.5倍;当上下文扩展至1200万token时,计算量缩减近千倍。成本对比更为惊人——在RULER 128K基准测试中,SubQ仅需8美元即可完成任务,而Claude Opus模型成本高达2600美元,相差300倍。

性能表现未因效率提升而妥协。在RULER 128K长文本理解测试中,SubQ取得95%准确率,略高于Opus 4.6的94.8%;代码工程基准SWE-Bench Verified中,SubQ以81.8分超越Opus的80.8分;长上下文检索任务MRCR v2中,SubQ获得65.9%得分,虽低于Opus的78%,但远超GPT-5.4(39%)和Gemini 3.1 Pro(23%)。

这家成立于2024年的初创公司展现惊人执行力。研究团队仅13人,却汇聚来自meta、谷歌、牛津、剑桥等机构的11位博士。公司前身Aldea专注语音模型研发,转型后迅速完成技术突破,现已推出三条产品线:支持1200万token全量上下文的SubQ API、可处理整个代码库的命令行编码工具SubQ Code,以及面向深度研究的免费工具SubQ Search。

行业反应呈现两极分化。AI知名投资人Bindu Reddy公开宣称:"若数据属实,Anthropic和OpenAI的估值将归零。"但质疑声同样强烈。OpenAI前研究员Will Depue通过技术分析指出,SubQ可能基于现有稀疏注意力模型微调,而非全新架构。社区争论焦点集中在:发布会展示的基准测试是否经过独立验证?动态路由机制能否稳定处理多样化场景?线性扩展特性在真实部署中是否成立?

目前Subquadratic尚未公开完整技术报告,其官网展示的测试结果尚未获得第三方复现。随着学界要求开放模型权重的呼声日益高涨,这场关于AI架构未来走向的争论,或将随着技术细节的逐步披露迎来关键转折。

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version