ITBear旗下自媒体矩阵:

新突破!非Transformer架构AI模型Liquid亮相,或将重塑智能领域格局?

   时间:2024-10-02 12:29:04 来源:ITBEAR作者:顾青青编辑:瑞雪 发表评论无障碍通道

在深度学习及自然语言处理领域,Transformer架构因其出色的自注意力机制而被广泛应用,诸如OpenAI的GPT、meta的BART及谷歌的T5等顶尖模型均基于此设计。然而,Liquid AI却选择了一条不同的道路。

受“交通信号处理系统”与“数值线性代数”的启发,Liquid AI对其模型架构进行了大胆革新。新推出的LFM模型主打“通用性”,能够灵活应对不同类型的数据建模需求,包括视频、音频、文本、时间序列乃至交通信号等多种内容格式。

相较于传统的Transformer模型,LFM系列在处理大量输入时展现了显著的RAM使用优势。由于Transformer在处理长输入时需存储庞大的键值缓存,导致RAM占用随序列长度急剧增加。而LFM则通过高效的数据压缩技术,大幅降低了对硬件资源的依赖,使得在相同硬件环境下能够处理更长的数据序列。

在性能表现上,LFM系列模型同样令人瞩目。据悉,LFM-1.3B已在多项基准测试中击败了包括苹果OpenELM、meta Llama 3.2、微软Phi 1.5及Stability Stable LM 2在内的多款领先模型。而LFM-3.1B更是跨越了规模界限,在某些特定任务中甚至超越了更大规模的7B与13B模型,其性能已凌驾于谷歌Gemma 2、苹果AFM Edge等顶尖模型之上。

至于LFM-40.3B,该模型在规模与输出质量间取得了精妙平衡。尽管拥有高达400亿个参数,但在实际推理过程中仅激活了120亿个参数。Liquid AI解释称,这一限制举措旨在确保模型输出的高品质,同时提升运行效率并降低硬件配置要求。

举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  网站留言  |  RSS订阅  |  违规举报  |  开放转载  |  滚动资讯  |  English Version