当DeepSeekV4的技术报告公布时,人工智能领域的研究者们迅速展开了对其中各项技术的讨论。mHC、CSA、HCA、Muon、FP4等新概念引发了广泛关注,但一个曾被寄予厚望的模块——Engram却意外缺席。这一情况立即成为社交媒体和学术论坛上的热门话题,许多人开始追问:Engram究竟去了哪里?
Engram并非凭空出现。今年早些时候,DeepSeek与北京大学联合开源了这项技术,其核心目标是解决大型语言模型在记忆与效率方面的瓶颈。传统模型在处理"伦敦是英国首都"这类简单事实时,往往需要调动整个深层网络进行重复计算,而Engram的设计允许模型直接查询预存知识,既节省了显存资源,又释放了网络容量用于更复杂的推理任务。
这项技术自公布以来就备受期待。研究人员普遍认为,Engram很可能会成为DeepSeekV4的架构基础。当V4正式发布后,众多开发者第一时间在论文中搜索Engram关键词,结果却令人失望——这个模块并未出现在最终版本中。这种反差引发了更多讨论,甚至有网友直言没有Engram的V4是不完整的。
尽管未能出现在V4中,Engram的技术理念并未消失。短短三个月内,至少有三个重要研究项目延续了这条技术路线。第一个项目来自北京大学等机构组成的联合团队,他们探索了将Engram模块部署在CXL内存池中的可行性。通过构建多机共享的4TB内存池,研究证实这种架构能够有效支持千亿级参数的Engram表,同时保持较低的端到端吞吐损耗。
第二个值得关注的研究来自独立研究者TaoLin。他针对Engram的多头哈希查表机制提出了一个看似合理的优化方案:使用最小完美哈希函数消除查表冲突。然而实验结果却出人意料——在严格控制参数量的测试中,这种无冲突设计并未带来预期的性能提升,反而显示出训练后期多头哈希机制具有独特优势。这个发现挑战了研究者的直觉认知。
第三个突破发生在跨模态应用领域。开源团队AutoArk成功将文本版的Engram移植到视觉模型Stable Diffusion上。他们设计了分层编码机制,使视觉补丁能够像文本token一样进行哈希查询。对比实验显示,在相同效果下Engram所需的额外参数仅为LoRA方法的15%-30%,且在连续注入多个新概念时表现出更强的稳定性。这项工作证明了Engram架构在非文本领域的潜在价值。
原Engram论文的作者团队至今未对V4的缺席作出公开解释。其代码仓库的最后更新停留在今年1月中旬,保持开源状态但未新增功能。值得注意的是,论文摘要中曾明确指出:"条件记忆将成为下一代稀疏模型不可或缺的建模原语"。这种表述让外界猜测,或许要等到V5甚至V4.1版本,才能看到Engram技术的完整实现。
目前,学术界对Engram的探索仍在继续。有研究者正在尝试将其与混合专家系统(MoE)进行更深度的整合,另有团队在探索更高效的索引压缩算法。这些工作共同描绘出一个技术演进图景:虽然核心发明者暂时保持沉默,但整个社区正在从不同角度推动这项技术走向成熟。











