小米公司近日推出了一款专为表格数据设计的通用基础大模型——Xiaomi-TabLDM，该模型通过创新的预训练方式，实现了对金融、医疗、制造、物流等多个领域表格结构化数据的高效处理。传统表格数据处理通常依赖XGBoost、LightGBM等工具，每处理一份新业务表格都需要重新训练和调参，导致多套模型维护成本高昂。Xiaomi-TabLDM的目标是打破这一行业现状，通过单模型跨数据集直接使用，显著降低部署成本。
Xiaomi-TabLDM的技术路线聚焦于三大方向：大规模合成数据预训练、高效模型扩展以及测试时扩展。预训练过程完全基于合成表格数据，覆盖了多样化的数据规模、变量类型和函数关系，从而扩大了任务分布的覆盖范围。在模型架构方面，该模型引入了双流特征组、轻量级注意力残差和稀疏混合专家机制，这些设计在扩大模型容量的同时，有效避免了计算量的同步激增。模型还支持在不改动参数的情况下，通过增加推理阶段的计算资源来进一步提升预测准确度。
在性能评估方面，Xiaomi-TabLDM在四大公开基准测试中表现突出，整体进入第一梯队。特别是在回归任务中，该模型在TALENT二分类和OpenML-CTR23回归榜单中均夺得第一，在BCCO总体排名和TabArena回归任务中位列第二。多项指标超越了TabPFN-3、AutoGluon1.5 extreme等主流基线方案，同时在预测性能和推理效率之间取得了良好平衡。在TabArena回归任务中，该模型取得了1900的Elo得分，每1000样本验证耗时仅3.12秒。
工业真实场景测试进一步验证了Xiaomi-TabLDM的实用价值。在材料性能预测场景中，该模型无需微调即可将预测精度提升130%，并减少九成无效试模测试。在零件重量预测任务中，与XGBoost相比，失误样本占比下降了31%。在生产组分预测中，平均误差降低了54%。当工况发生变化时，仅需补充约三十条新样本作为上下文，模型的平均误差即可下降62%，而传统算法需要两百条样本才能达到类似效果，凸显了其小样本快速适配的优势。
