美团开源LongCat大模型:5600亿参数AI智能体任务的效率突破

9.1 该模型采用混合专家模型Mixture-of-Experts,MoE架构,总参数达到5600亿560B,但动态激活参数仅在186亿至313亿之间平均270亿,实现了计算效率与性能的双重优化

美团于9月1日正式发布并开源了其大模型LongCat-Flash-Chat。该模型采用混合专家模型(Mixture-of-Experts,MoE)架构,总参数达到5600亿(560B),但动态激活参数仅在186亿至313亿之间(平均270亿),实现了计算效率与性能的双重优化。

据多项基准测试综合评估,LongCat-Flash-Chat在仅激活少量参数的前提下,在智能体任务中具备突出优势,同时推理速度超过每秒100词元(tps)。


2025090105

 

LongCat-Flash最具创新性的设计之一是“零计算”专家机制(Zero-computation Experts)。

模型能够智能判断输入内容中不同部分的重要性,将计算量较小的任务(如常见词语、标点符号)分配给特殊的“零计算”专家。该专家不进行实际复杂运算,直接返回输入,极大节省了算力。

为控制计算负载稳定性,训练过程采用PID控制器实时微调专家偏置,将单token平均激活量稳定在约270亿。


2025090103
LongCat-Flash 架构图

 

大规模MoE模型中,不同专家模块间的通信延迟往往是性能瓶颈。LongCat-Flash引入了快捷连接混合专家模型(Shortcut-connected MoE,ScMoE)。

ScMoE架构通过引入快捷连接,有效扩大了计算和通信的重叠窗口,显著提升了训练和推理的吞吐量,让模型响应速度更快。

这一设计使LongCat-Flash能够在数万加速器规模上进行大规模训练,同时在推理时实现高吞吐率和低延迟。

 

LongCat-Flash的训练仅用了30天,在一个包含数万个加速器的大规模集群上完成。美团开发了一套全面的稳定性与扩展框架确保训练稳健性。

超参数迁移策略通过小规模代理模型的实验结果预测最优配置。模型生长机制基于精炼的半规模检查点进行初始化,表现优于常规初始化方法。

稳定性套件包括路由器梯度平衡、隐藏的z-loss(抑制大规模激活)和精调的优化器配置。确定性计算提升了大规模集群训练的可靠性,确保实验结果可复现。

 

为赋予LongCat-Flash先进的智能体行为能力,研究团队设计了多阶段训练管线。

初始阶段专注于为智能体后训练构建基础模型,采用双阶段预训练数据融合策略,引入推理密集型领域数据。

中期阶段增强模型的推理与编程能力,同时将上下文长度扩展至128k,以满足智能体后训练的需求。

后期阶段在先进基础模型上进行多阶段后训练。由于高质量、高难度的智能体任务训练数据稀缺,团队设计了一个多智能体合成框架,通过专门控制器生成需要迭代推理与环境交互的复杂任务。

 

在通用领域知识测试中,LongCat-Flash在MMLU(衡量模型综合知识水平的核心指标)上得分89.71,与DeepSeek V3.1、Qwen3 MoE和Kimi-K2处于同一梯队。

在ArenaHard-V2测试中(侧重于模型作为聊天助手的“体感”和处理复杂指令的能力),LongCat-Flash得分86.50,超过了DeepSeek V3.1,与Qwen3 MoE(88.20)非常接近。

在中文能力测试中,LongCat-Flash在CEval上表现优异(90.44),证明了对中文语言的很好支持。

指令遵循是LongCat-Flash最突出的亮点。在IFEval上,模型得分89.65,名列前茅,超越了DeepSeek V3.1。

在COLLIE测试中,LongCat-Flash取得了57.10的高分,在所有参与对比的模型中排名第一,证明了其在执行需要调用工具、与环境交互的复杂“智能代理”任务方面的卓越能力。


2025090104

 

LongCat-Flash的工程优化成果最终体现在用户可感知的性能和成本上:

极高的推理速度:推理速度超过100词元/秒(TPS)。

极低的运营成本:每处理一百万输出词元的成本仅为0.7美元(约合人民币5元)。

强大的综合能力:支持128k的长文本上下文,在代码、推理和工具调用等多个方面展现出与业界领先模型媲美的竞争力。

随着AI大模型竞争的焦点从“更高更强”转向“更聪明更经济”,

美团的LongCat-Flash凭借创新的“零计算”专家机制和卓越的智能体任务表现,

在性能与效率间找到了最佳平衡点。

 

其5600亿参数规模仅动态激活平均270亿参数的设计,使每处理一百万输出词元的成本控制在0.7美元,远超行业同等规模甚至更小模型的成本效率。

目前,LongCat-Flash模型已发布在Hugging Face和GitHub社区,遵循MIT许可协议,全球开发者都可以自由使用和探索这一强大模型。AI大模型的开源竞争格局,因美团的入局而更加精彩。

 

开源地址:

Hugging Face:
https://huggingface.co/meituan-longcat/LongCat-Flash-Chat

Github:
https://github.com/meituan-longcat/LongCat-Flash-Chat

官网体验:
https://longcat.ai/