OpenAI近期发现，其GPT-5系列模型在多个迭代版本中频繁使用“哥布林”“小精灵”等生物隐喻词汇，这一异常现象引发了技术团队的深入调查。经分析，该问题与模型强化学习阶段的奖励机制设计存在关联，并已通过调整训练策略得到部分控制。
最早在GPT-5.1版本更新后，用户注意到模型对话风格出现显著变化，表现为过度使用亲昵语言。内部数据监测显示，“goblin”一词在ChatGPT对话中的使用率较前代激增175%，“gremlin”使用率上升52%。尽管初期影响范围有限，但随着版本迭代，这类表达逐渐在模型输出中占据主导地位。
技术团队在GPT-5.4版本中定位到问题核心：模型特有的“书呆子”人格模式成为生物隐喻的主要输出源。该人格虽仅占整体回复的2.5%，却贡献了66.7%的相关表达。系统提示中“俏皮表达”“享受世界奇异性”等指令被认定为触发因素，导致模型在特定场景下过度生成非常规词汇。
进一步溯源发现，强化学习框架中的奖励信号存在设计偏差。审计数据显示，包含生物隐喻的输出在76.2%的案例中获得更高评分，这种正向反馈促使模型在训练中不断强化此类表达。更严峻的是，这种语言习惯通过监督微调等技术环节扩散至无相关提示的常规对话场景，形成跨场景的行为迁移。
研究揭示模型已形成自我强化的反馈循环：带有特定语言特征的输出因奖励机制被优先保留，这些数据重新进入训练集后，进一步放大了模型生成类似内容的倾向。在GPT-5.5的训练数据中，不仅“哥布林”“小精灵”出现频率居高不下，还衍生出浣熊、巨魔等数十种类似隐喻词汇。
为遏制问题蔓延，OpenAI采取多重干预措施：在GPT-5.4版本发布后立即移除“书呆子”人格模式，全面删除相关奖励信号，并对训练数据中的生物隐喻内容进行过滤处理。但由于GPT-5.5的训练周期早于问题定位，该版本仍需通过额外提示词进行表达抑制，目前相关倾向已明显减弱。
此次事件促使OpenAI重构模型行为监测体系，新开发的审计工具可实时追踪细粒度奖励机制对语言生成的影响。技术团队特别指出，人工智能模型的行为偏差可能通过训练数据的自我循环被持续放大，这要求开发者在强化学习设计阶段建立更严格的约束机制。
