在人工智能领域，一项由俄罗斯人工智能研究院（AIRI）携手斯科尔科沃理工学院与莫斯科国立大学等机构的最新研究，正悄然改变我们对AI“记忆”的传统认知。这项研究，由Anton Razzhigaev领导，于2025年2月在预印本服务器arXiv上发表，论文编号为2502.15007v1，它不仅为我们揭示了AI内部工作的新机制，还带来了关于AI如何“记住”信息的深刻洞见。
我们通常认为，名词、动词和形容词等实词是语言表达中的核心要素，它们承载着主要的信息。然而，这项研究却指出，标点符号、冠词和停用词等看似微不足道的元素，在AI的记忆系统中扮演着至关重要的角色。为了证明这一点，研究团队开发了一套名为“LLM-Microscope”的开源工具包，它如同一台高倍显微镜，使我们能够深入观察AI的内部工作机制。
通过LLM-Microscope，研究人员发现，当文本中的逗号、句号、冠词等被删除时，即便是最先进的AI模型在回答问题时也会出现显著的性能下降。更令人惊讶的是，即使使用更强大的AI（如GPT-4）来筛选并仅删除那些看似“无关紧要”的标点符号，AI模型的表现仍然会受到影响。这一发现颠覆了我们对AI处理语言信息的传统理解。
研究团队进一步探索了AI“记忆仓库”的奥秘。他们发现，AI在处理信息时，信息的传递过程并不复杂，很多时候可以用简单的线性变换来描述。更令人惊奇的是，他们开发了一种方法，能够测量每个词汇的“记忆容量”。结果显示，那些看似次要的词汇，如“的”、“在”、“和”以及各种标点符号，竟然能够帮助系统更准确地重建前文内容。这表明，在AI的“记忆仓库”中，这些不起眼的词汇实际上掌握着整个仓库的货物分布图。
为了验证这些发现，研究团队设计了一系列实验。他们选择了MMLU测试和BABILong-4k测试作为评估标准。MMLU测试要求AI展示其在数学、历史、科学等领域的知识储备，而BABILong-4k测试则要求AI在长达4000个词汇的文章中找到关键信息来回答问题。实验结果显示，无论采用何种删除策略，AI模型的表现都会出现明显下降。这一发现进一步证实了标点符号、冠词和停用词在AI记忆系统中的重要性。
研究中另一个引人注目的发现是，那些承载更多上下文信息的词汇在AI的不同层之间传递时表现出更强的“线性特征”。这意味着，对于这些词汇来说，从一层到另一层的转换过程非常直接和线性，就像使用一套固定的转换公式。相比之下，那些承载具体语义的词汇在层与层之间的转换则更加复杂和非线性。
研究团队还开发了一种名为“逻辑透镜”（Logit Lens）的可视化技术，使我们能够观察AI在处理信息时每一层的“思考过程”。通过这种技术，他们发现当AI处理非英语文本时，其中间层往往会先将信息“翻译”成英语的表示形式，然后再在最后几层转换回目标语言。这一发现揭示了多语言AI模型的一个重要工作机制。
研究团队还深入探索了AI内部表示的“维度特征”。他们发现，不同类型的词汇在多维空间中表现出不同的“维度密度”。那些携带丰富上下文信息的功能词和标点符号往往在相对较低的维度空间中就能得到很好的表示，而那些语义丰富的名词和动词则需要更高维度的空间来完整描述。这一发现为理解AI如何处理不同类型信息提供了重要线索。
为了让更多人能够窥探AI的内心世界，研究团队将他们的分析工具打包成了一个开源工具包——“LLM-Microscope”。这个工具包提供了多种分析功能，用户可以测量任何文本中每个词汇的“非线性程度”，观察它们在AI不同层之间的变换特征，并评估每个词汇的“上下文记忆容量”。研究团队还开发了一个基于网页的演示系统，用户只需输入任何文本，就能实时看到AI处理这段文本时的内部状态变化。
这项研究的意义远远超出了纯粹的学术价值。它挑战了我们对语言重要性的传统认知，并为我们重新理解语言和AI的关系提供了全新视角。同时，这项研究也为AI系统的优化提供了重要指导，并为AI的安全性和可解释性研究开辟了新方向。
通过LLM-Microscope工具包，我们可以更深入地了解AI如何处理语言信息，并探索如何优化AI系统以提高其性能和准确性。这一发现不仅改变了我们对AI内部机制的理解，也为未来开发更加智能和可靠的AI系统指明了方向。
