在近期举办的第39届国际人工智能大会（AAAI 2025）上，作业帮公司凭借其研发的“偏好导向监督微调（PoFT）”技术脱颖而出，该技术被大会正式收录并获得了广泛关注。此次大会聚焦深度学习、机器学习、自然语言处理及知识计算等多个前沿技术领域，而PoFT技术正是这些领域的又一重要创新。
在教育智能化应用的大背景下，大型语言模型的核心挑战在于准确理解指令并给出恰当的回应。以数学题目讲解为例，模型需确保解题步骤的严谨与表达的通俗易懂，这要求模型进行深入的“对齐训练”。然而，高质量的教学配对数据成本高昂，传统监督微调技术使用的“交叉熵”损失函数未能区分数据的重要性，导致模型可能学习到低质内容，进而产生理解偏差、解答质量不高或表述模糊等问题。
作业帮的PoFT技术针对这一难题提出了新颖的解决方案，其核心在于利用多个模型作为专家，对学习数据进行权重评估，引导目标模型有选择性地高效学习。在训练阶段，PoFT要求目标模型对数据的“置信度”必须超过一组标杆模型的平均水平，从而确保学习的有效性和可靠性。
PoFT技术还具备出色的兼容性，它可以与现有的数据过滤技术（例如IFD和Instag）结合使用，先去除明显劣质的数据，再通过PoFT进一步调整学习权重，提升性能。同时，PoFT也能与偏好对齐算法（如DPO）协同工作，形成“两步训练”流程。在Alpacaeval 2.0基准测试中，PoFT与DPO的组合方案相比传统DPO方法，胜率提高了2.74个百分点，特别是在复杂教学场景下，过拟合风险显著降低。
教育应用对模型的容错率要求极为严格。例如，在解答数学题时，模型需准确识别并优先采用“步骤简洁”和“逻辑清晰”的解法。若因学习低质量数据而导致解析错误，可能会对学生产生误导。PoFT技术通过“标杆模型打分”机制，使模型能够优先学习高质量数据，精确捕捉教学过程中的特定偏好，从而提升教学效果。
目前，PoFT技术已被应用于智能解析和个性化辅导等产品中，取得了显著成效。此次PoFT技术在AAAI 2025的成功入选，不仅彰显了作业帮在大模型优化领域的强大技术实力，也为智能教育场景的模型适配提供了新的解决方案，即在不依赖高成本优质数据的情况下，也能实现模型性能的稳定提升。作业帮自成立以来，一直致力于利用技术手段解决教育领域的问题，在语音识别、自然语言处理、图像识别、大数据、云原生及音视频技术等多个领域不断探索，并多次荣获国内外顶级奖项，包括中国信通院的应用优秀案例、卓越创新案例以及MIT全球十大突破技术等。
