ITBear旗下自媒体矩阵:

字节Seed调整预训练数据团队,李成刚统筹四类语料

   时间:2026-11-17 18:18:25 来源:互联网编辑:快讯 IP:北京 发表评论无障碍通道
 

2026年8月,字节跳动Seed新设Pretrain Data部门,把此前分散在文本、代码、视觉和语音等方向的预训练数据团队整合到一起,由李成刚负责并向吴永辉汇报。这项组织调整让外界再次关注到他从搜索研发走向大模型基础工作的职业路径。

新部门下设四个分支:文本由沈科负责;代码由Xia Xiao负责,并与唐晟宇共管;视觉由林毅负责,与世界模型负责人周畅共管;语音分支统筹音频与语音预训练语料。李成刚需要协调这些准备方法不同、却要共同服务模型训练的专业团队。

李成刚于2004年进入清华大学精密仪器与机械学系,本科阶段取得计算机科学与技术第二学位,随后继续在原院系攻读硕士,2011年毕业。清华大学摩擦学国家重点实验室的记录显示,他参与过精搜网络机器人系统V1.0和三维模型检索系统V1.0;黄利平的教师主页还列有他与黄利平、田凌共同署名的两篇2011年论文,内容分别涉及不确定数据的决策树构建和面向特定主题的网页采集系统THSRS。三维模型检索面对的问题很具体:制造企业积累了大量零件设计后,工程师开发新产品时如何迅速找到形状相近、值得参考的旧模型。

2011年7月,李成刚加入百度,从事技术研发,研究方向包括三维模型检索和搜索引擎。2013年,他与合作者发表High efficient methods of content-based 3D model retrieval,团队改进形状特征提取算法并设计索引,减少检索时需要逐一比较的模型数量,形成3D Searcher系统。论文报告,在其测试条件下,单次在线查询的平均响应耗时减少75%,并展示了系统用于汽车后桥设计的实例。2017年12月8日,他离开百度并加入字节跳动。

2017年12月至2021年9月,李成刚担任头条搜索技术负责人;随后转任TikTok搜索技术负责人,直至2023年5月。两段经历分别对应网页搜索和视频搜索,也涉及排序架构与算法、多语言和多模态相关性。头条搜索要承接用户主动提出的问题,并判断新闻、百科、经验分享等站外内容与搜索词的关系;TikTok搜索则要进一步处理画面与文字之间的联系,以及不同语言表达所指向的内容。

2023年5月,李成刚成为Seed预训练负责人,开始参与大模型预训练。数据清洗、合成、配比与训练方法成为工作重点。2025年2月首次公开的MGA研究,后来定名为Reformulation for Pretraining Data Augmentation,尝试围绕不同文体和目标读者对已有内容进行多样化重述。团队公开的语料中保留了一篇技术文章及其改写结果:原文解释寄存器、缓存、主存和磁盘在速度、容量和用途上的差别,改写后则变成面向10至15岁学生的冒险故事,主角莉莉穿过神秘入口进入电脑内部,在不同场景中理解这些存储部件的特点。研究比较了约束较严格、较宽松以及介于两者之间的方案,最终采用在保留信息与增加变化之间取得平衡的做法,将约1950亿token的语料扩展为约7700亿token,并公开数据集。论文在最高130亿参数模型的实验中报告,相较重复使用原始数据或提高部分数据采样频率,这种方法表现更好;对于更大模型和更长训练周期,论文仍保留进一步验证的空间。

数据怎样构造之外,训练效果能否提前判断也很关键。李成刚与沈科等人参与的研究提出COD框架,先按照难度变化特征对评测任务分组,再利用更容易预测的任务子集推算完整评测集上的表现。论文使用八个较小模型的信息,预测一个700亿参数模型在八项测试基准上的成绩,报告预测结果与实际成绩之间的平均绝对误差为1.55个百分点。这项工作后来被ICLR 2026接收。

2025年5月起,李成刚转入AI for Math,目标解决黎曼猜想。2025年7月发布的Seed-Prover将数学证明生成与Lean形式化验证结合起来,模型生成证明后可根据验证反馈修改推理,并利用已经证明的引理继续推进。论文报告,系统在所使用的已形式化历史IMO题目集合上证明了78.1%的题目。2025年12月发布的Seed-Prover 1.5进一步引入工具调用,系统可以搜索数学库、运行Python辅助计算,并逐步验证和复用中间结论。团队报告,它解决了PutnamBench中88%的题目,并在9小时内为2025年Putnam竞赛的12道题中的11道生成了可验证的形式化证明,相关证明代码也已公开。

2024年,李成刚以语言模型预训练方向负责人的身份出现在导师介绍中;两年后,他需要统筹文本、代码、视觉与语音的数据工作。过去的研究,是和合作者一起把一道具体问题解开;新职责则要求他把几支专业团队的工作组织到一起。从三维零件、网页、视频到预训练语料与数学证明,他处理的信息对象不断变化,贯穿其中的工作是把这些信息组织成系统能够有效使用的形式。在Pretrain Data负责人的位置上,这项工作直接服务于Seed模型的预训练。

 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  争议稿件处理  |  English Version