研究团队通过严谨的实验设计，将15部近年出版的法语、波兰语和日语文学作品的英语译本与AI生成版本进行对比。每部作品选取约八千英文单词的开头段落，采用自主研发的智能体翻译系统重新处理。该系统融合Claude Opus 4.6与GPT-5.4模型，通过预处理分析、分块翻译和三轮质量审查的复杂流程，确保翻译结果既忠实原文又具备文学性。
15位年阅读量12至120本的资深读者参与双盲测试，每人需完成沉浸式阅读与细读两个阶段评估。结果显示，在整体阅读体验中，30次对比中有19次读者倾向选择人工译本；段落级对比中，67%的判断支持人工翻译。尽管AI版本在33%的段落中表现优异，但质量波动幅度达到人工译本的三倍以上，部分段落出现明显的结构断裂和语义模糊问题。
读者反馈揭示了关键差异：人工译本在流畅度、叙事清晰度和用词自然度方面获得显著优势。具体案例显示，AI翻译常出现"断句生硬""长篇流水账"等问题，而人工译本则被形容为"行云流水"。值得注意的是，当询问具体偏好时，54%的读者表示愿意继续阅读AI译本，这一比例在人工译本中为66%，显示AI翻译已具备相当程度的可接受性。
当前主流翻译评估工具的表现与人类判断形成鲜明对比。METRICX-QE、COMETKiwi等系统均给予AI译本更高评分，其评估维度集中在语法准确性和语义忠实度，却完全忽视了文学翻译特有的韵律感和情感传达。这种技术局限在非英语语种测试中暴露无遗：当实验扩展至西班牙语、法语等语种时，92.8%的段落判断支持人工翻译，母语读者能清晰指出AI在语法结构和文化适配方面的缺陷。
参与测试的读者普遍表示，AI翻译质量超出预期。有受试者坦言："若不被告知，完全不会察觉这是机器翻译。"但专业读者仍能捕捉到细微差异，指出AI作品"缺乏情感重量"和"文化转译的灵活性"。多数受访者认为，当前AI系统更适合作为初稿生成工具，而非直接出版，这为出版业提供了新的生产模式参考。
研究团队已公开LAIT数据集，包含两千条读者判断、千余条评语及七千余条短语标注。这个涵盖15部作品、两种翻译版本的大型数据集，为开发更精准的文学翻译评估模型提供了基础。完整研究论文可通过arXiv平台获取，其中详细记录了实验设计、统计模型及评估界面开发等技术细节。
