近日，奇富科技在自然语言处理领域取得了突破性进展，其最新研究成果PrAd被国际顶级学术会议EMNLP 2025 Findings接纳发表。这一成就标志着中国科技企业在大模型高效参数微调技术上获得了国际学术界的广泛认可。
EMNLP，即自然语言处理领域的经验方法会议，与ACL和NAACL并列为NLP领域的三大顶级盛会。因其严格的评审流程和低录取率，EMNLP成为了全球NLP研究者展示研究成果和交流思想的重要舞台。奇富科技此番研究成果的入选，彰显了公司在人工智能基础研究和创新技术方面的卓越实力。
随着大语言模型在多个业务场景中的广泛应用，如何高效且低成本地实现多任务适配成为了行业亟待解决的关键问题。传统的全参数微调方法虽然效果显著，但伴随着高昂的计算和存储成本。而现有的参数高效微调方法，如Prompt Tuning和Adapter Tuning，又面临着训练不稳定、推理延迟高以及序列膨胀等挑战。
为应对这些难题，奇富科技的研究团队开创性地提出了一种针对Decoder-only架构大模型的高效微调框架——PrAd。该框架通过深度结合结构优化与推理流程，仅在预填充阶段引入轻量级Adapter模块对提示进行特征变换，而在解码阶段则保持原始结构不变，避免了任何额外的计算开销。
PrAd框架在多个方面实现了显著的提升。首先，在训练效率方面，PrAd不增加输入长度，初始化过程简单，训练稳定性强，其效果甚至超越了主流基线方法。其次，在推理效率上，PrAd仅在生成第一个token时带来微小的延迟，后续的解码过程不增加任何额外开销，且支持多任务共享批推理。实验数据显示，在多任务场景下，PrAd的推理速度较LoRA提升了最高超过10倍。PrAd还大幅降低了运维成本，Adapter管理规模和显存占用减少了50%，简化了多任务模型的部署与批量推理流程。
实验结果表明，PrAd在六项多样化的NLP任务上均取得了与最优方法相当或更优的表现，同时在推理效率和资源利用率方面展现出明显优势。这一特点使其特别适用于金融领域常见的多任务、高并发、低延迟应用场景。奇富科技首席算法科学家费浩峻强调：“PrAd不仅是一项重大的技术突破，更是奇富科技‘科技赋能金融’理念的具体实践。我们致力于推动大模型在金融场景中的高效、可靠和规模化应用，为客户提供更优质的服务。”
