人工智能领域迎来新突破，DeepSeek在GitHub平台开源了一款名为LPLB（Linear-Programming-Based Load Balancer）的并行负载均衡器。这款基于线性规划技术的工具，专门针对混合专家（MoE）模型的专家并行工作负载分配进行优化，其设计理念与英伟达在万卡GPU集群中的调度机制存在异曲同工之妙。
据技术文档披露，LPLB的核心创新在于将调度层级从计算单元（SM）提升至整个处理流水线。英伟达此前通过NVLink连接的GPU集群中，采用类似机制为不同内核分配计算资源，而DeepSeek的解决方案通过抽象化处理，实现了更宏观的负载调控。目前该项目仍处于早期研发阶段，具体性能提升幅度尚在持续评估中。
该工具通过三重机制实现动态均衡：首先利用嵌入的EPLB模块对专家进行工作负载统计驱动的动态重排序；其次构建考虑硬件拓扑结构的专家副本体系；最后针对每个训练批次求解最优Token分配方案。其内置的线性规划求解器采用单SM内点法，并调用NVIDIA的cuSolverDx和cuBLASDx库进行矩阵运算，工作负载数据可通过用户输入、torch.distributed框架或Deep-EP内部通信器获取。
作为EPLB的升级版本，LPLB重点解决MoE训练中的动态失衡问题。EPLB主要处理数据分布导致的静态不均衡现象，而LPLB则针对小批次训练中出现的随机波动。具体实现上，系统为每个原始专家配置冗余专家，在GPU间形成传输通道，通过求解线性规划问题重新分配Token流，在通道容量限制下最小化组内负载差异。为降低通信开销，系统采用NVLINK和NVSHMEM技术替代传统torch.distributed.allreduce方法。
开发团队设计了多种硬件拓扑支持方案。Cube模式在8GPU子组内构建立方体图结构，要求每个GPU至少承载2个专家；Hypercube模式扩展至16GPU规模，通过移除对角边优化跨节点通信；Torus模式则在节点内外GPU间复制专家形成环面结构，适用于全局均衡但节点内通信效率略逊于Cube模式。用户可通过修改r2o矩阵自定义拓扑结构。
技术文档同时指出当前存在的三大局限：成本估算模型未考虑矩阵乘法的非线性时间成本，可能导致次优调度；求解器在节点内优化耗时约100微秒，对小批次任务影响显著；极端负载不均衡场景下，因避免多副本分配给同一原始专家的限制，性能可能弱于EPLB方案。
对于部署环境，系统要求CUDA工具包版本不低于12.6.3，强烈建议搭配DeepEP框架使用。安装流程包含数学库下载、环境变量配置和pip安装三个步骤，并提供详细的拓扑定义接口示例。开发者可通过GitHub仓库（https://github.com/deepseek-ai/LPLB）获取完整代码和文档，示例代码展示了如何配置冗余专家拓扑并执行负载重定向操作。
