中国科学技术大学与北京metaStone Technology联合开展的一项研究，为AI角色扮演能力的评估带来了全新思路。该研究以预印本形式发布，论文编号为arXiv:2607.27816v1，为解决AI角色扮演领域长期存在的评测难题提供了创新方案。
在AI角色扮演场景中，用户常遇到两种截然不同的体验：有些AI仿佛能精准捕捉用户心思，对话自然流畅；另一些则总像隔着一层薄纱，始终无法真正理解用户意图。这种"懂与不懂"的微妙差异，一直是该领域难以量化的核心问题。传统评测方式存在结构性缺陷——就像要求厨师在他人已炒至半熟的菜品上继续加工，最终评价的往往不是厨师的真实水平，而是前序工序留下的基础质量。
研究团队设计的PALATE评测框架（基于个人化大语言模型用户模拟的定制评测体系），通过重构评测逻辑破解了这一困局。该体系包含四大核心环节：首先训练能精准模拟个体用户语言风格与互动偏好的AI模型；其次让候选AI与模拟用户从对话起点开始自由交互；接着自动生成符合该用户偏好的评分标准；最终从个人体验、单轮质量、整体会话三个维度进行综合评估。这种设计确保评测过程既不受预设对话历史的干扰，又能真实反映特定用户的满意度。
实验数据直观展现了传统评测方式的偏差。研究人员将5段真实人机对话的AI回复部分，分别改写成高质量与降级两个版本，让4个候选AI在不同版本基础上续写。结果显示，高质量前半段使AI续写平均得分提升0.21分（满分5分），降级版本则导致得分下降0.13分。更值得关注的是，某些AI的排名顺序会因前半段质量差异发生逆转——Claude Sonnet 4.6在高质量版本中表现优于Gemini 2.5 Pro，但在降级版本中却落后于对手。这种偏差主要源于前半段内容真实改变了AI的输出质量，而非单纯影响裁判主观判断。
用户偏好的多样性是另一个关键挑战。研究团队招募5位志愿者进行深度对话标注，每位用户完成约1000轮互动并逐轮评分。这些数据训练出的用户模拟器，在"图灵测试"中达到近50%的混淆率——这意味着裁判已难以分辨真实用户与模拟器的回复。进一步分析显示，不同用户对角色扮演的关注点存在显著差异：有人重视情节推进速度，有人关注角色情感表达，还有人在意对话中的潜台词处理。这种个体差异使得统一评分标准难以准确衡量用户体验。
在正式评测中，16个主流AI模型接受了PALATE框架的全面检验。评测结果呈现出三个重要特征：其一，不同维度的冠军分属不同模型——GPT-5.4在单轮质量指标领先，Claude Sonnet 4.6在整体会话表现最佳，DeepSeek V4 Pro则获得最高个人化体验评分；其二，用户偏好呈现明显分化，5位志愿者分别将"最佳体验"投给了不同模型；其三，专项优化模型未显现预期优势，反而是通用型模型GLM-5.1在多个维度保持均衡表现。这些发现表明，AI角色扮演能力包含情节连贯性、情感表达力、节奏把控力等多个独立维度，单一指标无法全面衡量模型实力。
支撑评测体系的"原材料"同样经过精心设计。研究团队构建了包含300张结构化角色卡的数据库，涵盖动漫IP、科幻、日常等10种类型，每张卡片均提供中英双语详细设定。人类对话数据则通过特定平台收集，确保模拟器学习的是真实互动场景下的用户行为模式。为保证评测公正性，所有角色卡在测试开始前即已冻结，测试集满意度标签全程未用于模型训练。
尽管研究团队承认当前样本规模存在局限，未来计划扩展用户数量并优化数据收集方式，但现有成果已为行业树立了新标杆。通过将评测场景从"续写他人剧本"转变为"自创完整对话"，并用特定用户的真实偏好作为评判标准，PALATE框架更接近AI角色扮演的实际应用状态。这种评测方式不仅能帮助开发者识别模型的真实能力边界，也为用户选择适合自己的AI提供了科学依据。该研究的完整论文及相关数据集计划向公众开放，供学术界与产业界进一步研究利用。
