AI生成概念图:以可继续搭建的研究基座和局部亮起的立柱,表现基础权重与稀疏激活
训练一个行业模型,最昂贵的部分未必是最后那次微调,而是获得一个足够可靠、还能继续塑造的起点。百度11月5日开放 ERNIE 5.5 Flash Base,将文心新一代模型在预训练结束时的权重交给外部开发者。此次开放保留了一条清楚的边界:模型尚未经过中期训练和后训练,并不是已经调好行为、可以直接替代企业助手的聊天成品。[1][2][3]
按照官方资料,这是一款稀疏混合专家语言模型,总参数2800亿,每个Token激活约140亿参数;预训练从零开始,使用33.5万亿Token。模型在预训练阶段将上下文逐步扩展至128K,并支持在微调和推理时使用100万Token上下文。两个长度对应不同阶段,不能把100万Token直接写成此次全部预训练都采用的窗口。[1][2]
这种开放方式把后续训练的选择权留给使用者。团队可以继续做行业适配、指令微调,或者比较不同强化学习方法,而不必从完整的基础预训练重新开始。百度把它定位为一个共同基线:使用相同的初始检查点,更容易观察后续数据和训练方法分别增加了什么能力。[1]
参数数字也需要分开理解。每Token激活140亿参数,描述的是稀疏计算时参与处理的一部分模型;总参数仍然是2800亿。对于准备部署的团队,计算开销、权重存储和运行内存是不同问题,不能仅凭激活参数就把它估算成一款140亿参数稠密模型。这个区别会直接影响设备选择与预算判断。
官方同时提供FP8与BF16版本,并在模型卡中列出知识、推理、数学、代码、多语言与长上下文等评测。相关比较使用百度统一的评测流程,属于开发方披露,尚不能当作所有实际业务中的性能保证。[2] 对一个基础模型,后训练的数据分布、任务定义与验收方式,仍会显著影响最终表现。
从编辑观察看,这次发布值得关注的不是又多了一组榜单分数,而是外部团队能否用同一个起点做出可比较的后续实验。比如,客服领域适配究竟提高了专业回答,还是只改变了表达风格;代码训练增强了仓库理解,还是依赖特定任务模式。这些问题需要固定基线、保留对照,才能得到有解释力的答案。
对准备采用的团队,下一步可以先选一组有真实验收标准的任务,再决定如何训练和部署。权重公开已经发生;行业能力、安全行为与业务收益,则需要由后续训练和实际验证逐项建立。
