ARTICLE DETAIL

资讯详情

深耕编程入门与网站建设的一线实战洞察。

小米表格数据基础模型-Xiaomi-TabLDM 部署测评,70M表格基础模型开源,一套配置通吃分类回归

小米表格数据基础模型-Xiaomi-TabLDM 部署测评,70M表格基础模型开源,一套配置通吃分类回归 一、模型速览Xiaomi-TabLDM 由小米于 2026-09-05 正式发布并开源是一个通用表格数据基础模型参数量70M许可证Apache 2.0Copyright 2026 Xiaomi。它提供TabLDMClassifier分类与TabLDMRegressor回归两个 scikit-learn 风格 estimatorGitHubxiaomi-research/xiaomi-tabldm与 HuggingFaceoccams/Xiaomi-TabLDM均已开放权重与代码技术报告见 arXiv:2609.03880。一句话定位把一次预训练、跨任务使用的基础模型范式正式带进金融、医疗、制造、物流的结构化数据领域——从此一个模型、一套默认配置直接适配不同表格告别一表一模型的苦日子。这正是表格数据领域的Scaling Law时刻过去十年表格预测依赖手工特征与逐数据集建模而 TabLDM 证明在大规模合成数据上预训练的小模型也能像 NLP/CV 基础模型一样预训练一次、下游通吃。70M 的参数规模意味着它能直接进边缘设备、进浏览器、进实时流水线而不必依赖 GPU 集群。二、核心亮点亮点一一次预训练跨任务通用。传统表格 MLXGBoost/LightGBM/CatBoost面对新数据集要重训、调参、集成生产和部署代价高。TabLDM 用单一预训练模型 统一默认配置即可完成分类与回归无需针对每个任务重新训练或后置集成。亮点二大规模合成数据预训练。模型完全基于结构因果模型SCM生成的大规模合成表格任务预训练覆盖不同数据规模、变量类型与函数依赖关系把预训练的任务分布撑大让模型提前见过多样模式。SCM 的关键在于因果而非相关——合成数据按变量间的因果结构生成使模型学到的是稳健的依赖关系而非训练集里的虚假相关这也是它在跨工况生产条件变化时仅需 30 条新样本就能再降 62% 误差的原因它理解表格背后的机理而非死记分布。亮点三架构三件套顶容量。引入双流特征分组多粒度建模特征关联、轻量级注意力残差深层网络选择性复用历史信息、稀疏混合专家 MoE用稀疏专家扩容量而不等比增算力。这让它 70M 参数就能在四大基准挤进第一梯队。双流特征分组把数值列与类别列分开建模再融合避免类别型高基数特征淹没数值信号注意力残差让深层网络能回头看浅层特征缓解表格任务里常见的信息丢失稀疏 MoE 则在推理时只激活部分专家使容量与算力解耦——三者叠加是 70M 小模型能压过动辄数百 M 乃至上 G 的传统集成模型的根本原因。亮点四Test-Time Scaling参数不动提性能。推理阶段不修改预训练权重靠不同特征排列、数据变换、预测视角产生互补结果再按数据集自适应选择融合持续抬升预测性能——这是大模型里流行的 TTS 在表格域的落地。亮点五scikit-learn 兼容pip 即装。对 ML 工程师零学习成本接口与fit/predict完全一致。三、部署实战3.1 环境准备与安装# 1) 克隆仓库并安装含 PyTorch 依赖 git clone https://github.com/xiaomi-research/xiaomi-tabldm.git cd xiaomi-tabldm pip install . # 可选分位数分布层 JIT 加速Intel Mac 若 PyTorch 装不上先 conda install pytorch -c pytorch pip install .[numba]3.2 推理代码上下文学习fit 不训练关键点fit不会训练模型仅对带标签的上下文数据做预处理并加载预训练权重预测完全通过上下文学习在单次前向传播完成。首次使用若本地无权重会自动从 HuggingFace Hub 下载。import numpy as np import pandas as pd from tabldm import TabLDMRegressor, TabLDMClassifier ​ # 1) 准备一份示例表格数值型特征即可无需独热编码 X pd.DataFrame({ age: [23, 45, 31, 52, 38, 29, 61, 47], income: [3.1, 8.4, 5.0, 11.2, 6.7, 4.2, 13.5, 9.1], score: [0.7, 0.9, 0.6, 0.95, 0.8, 0.55, 0.99, 0.88], }) y np.array([0, 1, 0, 1, 1, 0, 1, 1]) # 二分类标签示例 ​ # 2) 回归 / 分类都走 scikit-learn 风格接口 reg TabLDMRegressor(model_pathcheckpoints/reg_default.ckpt) # 自动下载 clf TabLDMClassifier(model_pathcheckpoints/clf_default.ckpt) ​ # fit 仅做上下文预处理 载入权重不更新参数 reg.fit(X, y) clf.fit(X, y) ​ # 3) 预测上下文学习单次前向 X_new pd.DataFrame({age: [34, 56], income: [5.5, 10.0], score: [0.72, 0.93]}) print(回归预测:, reg.predict(X_new)) print(分类预测:, clf.predict(X_new)) print(分类概率:, clf.predict_proba(X_new)) # 形状 (n_test, n_classes) ​ # 4) 可选Test-Time Scaling——增推理算力提性能按数据集自适应融合多次变换结果 # reg.fit(X, y, test_time_scalingTrue)提示model_path还可设为None则按checkpoint_version从 HF 缓存检索clf.save(c.pkl, save_training_dataTrue)/TabLDMClassifier.load(c.pkl)可持久化含 KV 缓存的 estimator。四、性能测评说明TabLDM 是表格基础模型没有tok/s概念下文把模板三维度适配为推理速度 / 显存占用 / 预测质量。数据来源小米官方发布、arXiv:2609.03880、BestHub/IT之家/网易报道均标注本机未实测。推理速度TabArena 回归任务上Xiaomi-TabLDM 取得1900 Elo第二高分仅3.12 秒 / 每 1k 验证样本而榜首 TabFM 需9.67 秒——训练时间较 TabFM 减少 82%预测时间缩短 68%。跑得更快、活儿不差。显存占用70M 参数BF16 权重仅约280MB纯 CPU 或任意边缘设备都能跑不存在显存门槛。预测质量四大公开基准排名来源官方发布基准任务Xiaomi-TabLDM 排名对比强基线OpenML-CTR23回归第 1登顶回归榜TALENT二分类第 1—TabArena回归第 21900 Elo超 TabPFN-3 / AutoGluon 1.5 / TabPFN-2.6BCCO回归第 2总体排名第 2与传统表格方案的效率对比来源官方 / arXiv:2609.03880方案是否逐数据集训练TabArena 回归 Elo每 1k 样本耗时Xiaomi-TabLDM否上下文学习19003.12sTabFM是榜首约 19009.67sTabPFN-3 / AutoGluon 1.5 / TabPFN-2.6部分需训练/调参低于 TabLDM 回归分更高工业实测来源官方非本机构材料性能预测无需微调精度 130%、无效试模 -90%零件重量预测失误样本较 XGBoost -31%生产组分预测平均误差较 XGBoost -54%工况变动后仅补约 30 条新样本作上下文误差再降 62%传统 ML 补 200 条仍误差更高。五、使用建议适合金融风控、医疗诊断、制造质检、物流预测等表格预测少样本/跨工况场景补 30 条样本即可快速适配新分布希望用一套模型替代多套 XGBoost 的工程团队。不适合文本/图像/语音生成等生成式任务它是结构化数据预测模型不是 LLM需要可解释特征重要性的严格监管场景基础模型黑箱性较强。调优提示开test_time_scalingTrue增推理算力换精度但会增加延迟按业务取舍新工况优先补少量样本作上下文而非重训生产部署建议save_training_dataTrue缓存 KV 提升复用速度。一个常见误区是把 TabLDM 当传统监督模型用——反复fit并不会让它学得更好因为 fit 只做上下文预处理与权重加载。真正提升效果的两招是开 Test-Time Scaling 增算力以及给更相关的上下文样本同一业务域的历史数据作为X_train/y_train。另外分类与回归是两个独立权重别混用同一 checkpoint。表格数据占了企业数据的绝大多数但一直被一表一模型拖累。你觉得表格基础模型会像 LLM 一样走向一个模型通吃吗你的场景里最头疼的表格任务是什么数据来源声明本文数据来自小米官方发布、GitHubxiaomi-research/xiaomi-tabldm、HuggingFaceoccams/Xiaomi-TabLDM、技术报告 arXiv:2609.03880 及 IT之家/网易/BestHub 报道API 用法引自官方 README。作者环境未做本地实测所有性能数字均标注来源未做任何数值编造。往期文章90篇JAVA高级深度分析与实践文章做AI的主人代码直接可用,附完整目录科大讯飞开源Spark-X2.5-4B 实测第一个100 万上下文做进 4B 稠密模型12GB 显卡跑的通文档理解多模态模型:PaddleOCR-VL-1.6 部署实测,0.9B 小钢炮暴打 GPT-5.2文档解析刷新 SOTA腾讯混元 Hy4 preview 实测770B MoE 扛 1M 上下文盲测 2.99 压过 GLM/Kimi自部署却要 8×B300
返回列表