天眼查财产线索信息显示，6月6日，科大讯飞股份有限公司申请的“大模型评估方法、装置、设备、系统及程序产品”专利公布。
摘要显示，该方法通过获取通过目标大模型问答所得的对话数据；然后基于问答对话之间的跟随关系依次对问答对话进行指令抽取得到对话指令，并对对话指令进行打分得到第一得分；并提取问答对话对应的答案信息，并将答案信息与前序答案信息进行比对得到第二得分；且对答案信息进行回复质量评价，以得到第三得分；进而结合第一得分、第二得分以及第三得分得到目标得分，以通过目标得分对目标大模型进行评估。从而实现多维度的评估过程，由于针对多轮次对话的特点进行多维度的指标配置，实现了自动化评估，可以大幅降低人工的参与度，减少因个人主观看法造成的偏差，提高大模型评估的准确性。
