宾夕法尼亚州立大学近期完成了一项关于大语言模型交互方式的研究,重点考察提问语气对模型回答准确性的影响。这项以《Mind Your Tone》为题的研究发现,在特定条件下,使用更直接甚至略显强硬的语气提问,可能比礼貌表达获得更精准的回答。
研究团队构建了一个包含50道选择题的测试库,题目覆盖数学计算、科学原理、历史事件等学科领域,每道题均设置中等难度。针对每个问题,研究人员设计了五种不同语气的提问版本,从极度礼貌到直接强硬形成梯度变化。实验对象选用OpenAI最新发布的GPT-4o模型,通过固定指令要求模型忽略对话历史,仅输出选项字母以排除其他干扰因素。
数据显示,当采用强硬语气提问时,GPT-4o的平均正确率达到84.8%,相较礼貌语气的80.8%高出4个百分点。研究团队分析认为,礼貌表达中常见的修饰性词汇和冗余信息可能分散模型对问题核心的注意力,而简洁直接的提问方式有助于模型更精准地定位关键信息。
不过这种效果存在模型代际差异。实验同时测试了GPT-3.5和Llama2-70B等早期模型,发现这些系统在面对礼貌提问时表现更优,强硬语气反而导致准确率下滑。研究人员指出,新一代模型在训练阶段接触了更丰富的语言样本,特别是包含多样化语气表达的对话数据,使其具备了更强的语境适应能力。
该研究强调,模型对提问语气的响应并非固定模式,而是与训练数据特征、模型架构设计密切相关。对于开发者而言,这提示需要构建更全面的测试场景来评估模型的实际表现;对于使用者来说,则需根据具体模型特性调整交互策略,而非简单套用某种提问模板。