她把人机交互看成一种被计算机媒介的交流,而不是用户和屏幕之间的孤立对话。设计者与开发者把意图写进界面,界面再以代理人的身份向用户传达允许、限制和反馈。用户学习按钮、提示、图形对象和操作结果之间的关系,过程很像学习一门新语言:同一个词在不同系统里可能意味着完全不同的东西,换一个应用往往就要重新摸索。
界面中的符号并不只有文字。固定的呈现方式可以传递意义,按钮被点击后的状态变化也能传递意义,还有一类符号专门解释其他符号,例如提示语告诉用户某个图形代表什么。每个系统都有自己的词汇和句法,用户只能通过尝试和观察来建立理解。即便AI开始直接用自然语言对话,这套关于界面语义的问题也没有消失,反而变得更复杂。
她讲了一个准备演讲时遇到的插曲。Claude在对话中列出一份清单,其中一项被写成她“想表达的论文主旨”,大意是问责机制必须被设计出来,不能假定它天然存在。她此前并没有把这个观点当作主旨,但觉得有意思,便顺着讨论。随后Claude又纠正说,它并没有在这次对话中提出那个主旨,只是在追问她真正想表达什么。她继续追问这个观点究竟由谁提出,Claude回答自己看不到输入框,无法判断应用是否提供了建议回复,也不知道这些内容由什么生成、依据什么上下文;消息到达它那里时,看起来就像用户说的,它无法知道实际情况。
这个例子让对话界面的透明度问题浮出水面。用户以为自己只是在和一个模型交流,但屏幕背后可能还有建议回复、中间代理或其他机制参与,某句话究竟来自用户、AI还是界面推荐,并不总能被判断。语义工程因此没有过时,它需要处理的新任务之一,是让用户知道自己在和谁说话、看到的信息经过哪些环节。
她所在团队提出PEEL方案,全称是Protocols for Epistemically Engaged AI Literacy,试图把确定性计算、人工智能和人的判断连接起来。计算机长期被信任,一个重要原因是相同条件下会重复执行相同操作;AI则可能每次运行都给出不同结果。人类拥有知识背景、意图和审查能力,最终要判断什么可信、什么成立。PEEL以Voyant作为文本分析工具,以Claude生成摘要,人则参与理解和核查,整个流程不是封闭的自动摘要器,用户可以看到参数、代码和分析过程,也可以修改。
PEEL生成摘要时尽量保留原文结构和个人声音。原文按章节组织,摘要也保留相应章节;作者写“I argue”,摘要尽量保留这种第一人称表达。这样做的目的,是让读者能迅速回到原文对应位置,检查摘要是否准确传递作者意思。团队还用Voyant比较原文与不同AI摘要中的关键词、语义类别和词语连接关系。摘要里出现原文没有的词或联系,不一定就说明有错,人和人写摘要也会带入各自理解,但这些差异可以成为进一步核查的线索。
真正需要警惕的是,AI可能把相关但原文并未展开的话题带入摘要。只读摘要而不读原文,读者可能把AI的延伸当成作者观点,随后在研究里错误归因。PEEL借助可视化网络图、语境检索等方式,让用户观察原文与摘要之间语义联系的变化,定位哪些地方值得回查。摘要中出现的新连接、原有连接的增强或减弱,都不直接等于错误,却提示读者不能只接受结果。
用户并非被动接收摘要。AI会询问某些语义类别是否符合用户理解,用户可据此调整分类;文本分析结果也以多种可视化方式呈现。语境检索功能可以找某个词在原文中出现的全部位置,再检查摘要是否保留了这些内容以及是否仍处于相同语境。她同时提到,PEEL目前只是起点,语言只是符号系统的一种,声音、手势、情绪等多模态信息同样可能带来认知权威问题。
现场问答中,有人问使用AI带来的问题何时能结束。她认为可以并行探索两条路径:一条是提高AI本身的认知可信度,让它更好支持人的知识判断;另一条是承认AI有局限,评估风险后再决定在哪些场景依赖它、在哪些场景保持谨慎。社会影响重大的研究,例如涉及疫情的研究,更需要认真呈现AI辅助结果的边界。
有人问PEEL能否发现AI摘要中的幻觉。她回答,有些类型可以发现,例如把原文关于AI信任的论述与摘要对照,差异明显时就能进一步检查;PEEL提供的材料和工具也具备开展这类分析的基础。她补充说,不少幻觉来自AI的世界知识,而不是单纯的语言处理,模型可能根据背景知识认定论文在谈另一个相关话题,于是加入原文没有的内容。约束模型接近机器翻译式的压缩转换,正是为了减少这种自由发挥。压缩过度也会让读者误解,目前实验显示压缩到25%至30%左右时文本仍有不错的可读性,算法仍有优化空间。
谈到AI是否会削弱创造力,她并不认为这是必然结果。她担心的是生成大量同类事物,以及研究者把工作调整成适合AI处理的形式,导致科研趋同。她更在意科研生产力循环:论文数量常被当作衡量研究者的指标,AI正在服务这种产出速度。她个人更愿意把注意力放在如何跳出这种循环,让AI不只用于加快既有工作,而是被用于更多样的研究实践。











