京东近日宣布开源自主研发的大模型推理引擎xLLM，该引擎基于国产芯片打造，旨在为企业部署人工智能应用提供高性能、低成本的解决方案，助力行业智能化升级。这一技术突破源于京东零售核心业务的实践积累，已在京东AI助手、智能客服、风控及供应链管理等多个场景中实现应用，系统效率提升超5倍，机器成本降低达90%，展现出显著的技术优势。
xLLM的核心竞争力体现在其动态资源调度与多模态适配能力上。引擎内置的请求优先级动态调度器可根据任务重要性智能分配计算资源，确保关键业务优先处理；动态自适应的PD分离架构则能实时调整处理实例比例，实现资源利用率最大化。针对复杂AI场景，引擎特别设计了EPD混合分离调度器，为多模态应用提供灵活支持。
在技术架构层面，xLLM构建了基于硬件特性的多级流水线执行引擎，可高效处理多样化任务。开发者团队开发的计算优化套件集成了图融合、投机推理及动态负载均衡技术，大幅提升了AI推理效率。引擎通过Mooncake技术搭建了多级KV缓存全局管理系统，进一步优化了数据处理流畅度。
京东零售AI基础设施团队表示，开源xLLM仅是生态建设的第一步。未来将根据开发者社区需求，持续开放高级功能模块，并与清华大学、北京大学、中国科学技术大学等高校及科研机构深化产学研合作，共同推动国产AI基础设施技术创新。这一举措为开发者提供了参与技术演进的平台，有望加速中国AI技术生态的完善。
此次开源的xLLM引擎已通过实际业务验证，其性能表现与成本优势为行业树立了新标杆。随着技术社区的参与，引擎功能将持续迭代，为人工智能应用的规模化落地提供更强支撑。
