当语音助手将“六十六点六百万美元”错误转换为“6600万美元”时，这种看似智能的修正反而造成了语义偏差。英伟达研究团队在预印本论文中提出“语音记忆”方案，通过构建外部文字规则库，使系统在纠错时学会“克制”，有效解决了语音识别中的过度修正问题。
传统语音识别系统采用两阶段处理模式：声学模型将语音转换为多个候选文本，大型语言模型再从中选出最终结果。这种生成式错误纠正机制在识别准确率低于2%时，反而会因过度规范化导致错误率上升。研究显示，在金融新闻领域，传统系统64%的修改操作会引入新错误，航空指令领域的错误率也达到25%。
新方案通过“听者-思者”架构实现决策优化。系统包含实时处理的“前台接待员”和异步优化的“思考者”两部分：前者保持参数冻结状态，仅根据记忆文件决定是否修改结果；后者通过分析成功与失败的修正案例，生成可验证的规则更新手册。每条规则需通过严格测试，只有提升整体表现的内容才会被采纳。
实验数据显示，在HyPoradise测试集涵盖的10个领域中，加入语音记忆后金融新闻领域的有害修正率从64%降至35%，航空指令领域从25%降至10%。整体词错误率（WER）在航空指令场景从7.9%降至4.9%，接近4.7%的理论极限值。特别在干净语音场景中，系统保持了1.8%的原始错误率，而传统方法反而将错误率推高至2.4%。
该方案展现出跨模型可移植性优势。研究人员将航空指令领域训练的记忆文件应用于Anthropic的Claude模型，使其识别错误率从6.68%降至6.08%。当允许Claude自主生成规则时，错误率进一步降至3.94%，甚至恢复了部分原始模型未捕捉的信息。不过在金融新闻领域，复杂数字格式导致自主规则效果弱于迁移规则。
噪音环境测试验证了系统鲁棒性。在包含咖啡厅、地铁等真实噪音的CHiME-4数据集中，语音记忆将错误率从9.9%降至9.5%；模拟噪音场景下从9.8%降至8.8%。NOIZEUS数据集显示，在5分贝强噪音条件下，错误率从14.5%降至12.6%，而15分贝安静环境保持2.7%的原始错误率。相比需要专门训练的RobustGER方案，语音记忆仅通过文字规则就达到相近效果。
研究团队发现优化语义相似度比单纯追求词错误率更有效。以意思保留为标准训练的系统，最终词错误率反而更低，且对随机因素的稳定性提升四倍。航空指令领域53%-68%的残留错误属于“良性错误”，即字面差异不影响实际语义，这解释了克制修正策略的合理性。
成本优势显著。传统微调方案需要数千至数万条训练数据，耗时数小时，产生数百MB至数十GB文件，且依赖GPU集群。语音记忆仅需约100条数据，几分钟完成优化，生成文件不超过10KB，可在低功耗设备运行。记忆文件采用人类可读格式，便于人工审查和修改。
该机制在语音翻译任务同样有效。德语、日语、中文到英语的翻译测试中，系统恢复了13%-32%的理论改进空间。优化循环学到的规则具有通用性：避免猜测未出现在所有候选中的内容，不为了提升验证分数而照抄参考答案。这表明该方案可推广至其他需要多候选综合判断的语言任务。
研究团队指出，当前验证主要基于大型模型，资源受限场景表现需进一步探索。领域专属记忆文件可能包含特定语言习惯，迁移至不同方言或人群时需人工审核以避免偏差。完整论文可通过arXiv编号2607.26410获取，配套的`agwer`工具包可用于计算相关指标。
