百度发布文心大模型 4.5 及深度思考文心大模型 X1,免费开放

3.17 基于知识点的大规模数据构建技术基于知识分级采样数据压缩与融合稀缺知识点定向合成技术,构建高知识密度预训练数据,提升模型学习效率,大幅降低模型幻觉

百度3月17日正式发布文心大模型 4.5 和文心大模型 X1,两款模型已在文心一言官网上线,免费向用户开放。

文心大模型 4.5 已上线百度智能云千帆大模型平台,企业用户和开发者登录即可调用 API;文心大模型 X1 也即将在千帆上线,百度搜索、文小言 App 等产品也将陆续接入文心大模型 4.5 和文心大模型 X1。

  20250317220456

文心大模型 4.5 是百度首个原生多模态大模型,在多模态理解、文本和逻辑推理等方面多项测试表现优于 GPT4.5,API 调用价格仅为 GPT4.5 的 1%;文心大模型 X1 则是一款性能上对标 DeepSeek-R1 的深度思考模型,同时还支持多模态、多工具调用能力,API 调用价格约为 R1 的一半。

  20250317220514

文心大模型 4.5 有如下关键技术:

FlashMask 动态注意力掩码:加速大模型灵活注意力掩码计算,有效提升长序列建模能力和训练效率,优化长文处理能力和多轮交互表现;

多模态异构专家扩展技术:根据模态特点构建模态异构专家,结合自适应模态感知损失函数,解决不同模态梯度不均衡问题,提升多模态融合能力;

时空维度表征压缩技术:在时空维度对图片和视频的语义表征进行高效压缩,大幅提升多模态数据训练效率,增强了从长视频中吸取世界知识的能力;

基于知识点的大规模数据构建技术:基于知识分级采样、数据压缩与融合、稀缺知识点定向合成技术,构建高知识密度预训练数据,提升模型学习效率,大幅降低模型幻觉;

基于自反馈的 Post-training 技术:融合多种评价方式的自反馈迭代式后训练技术,全面提升强化学习稳定性和鲁棒性,大幅提升预训练模型对齐人类意图能力。


文心大模型 X1 有如下技术:

递进式强化学习训练方法:创新性地应用递进式强化学习方法,在创作、搜索、工具调用、推理等场景全面提升模型的综合应用能力;

基于思维链和行动链的端到端训练:针对深度搜索、工具调用等场景,根据结果反馈进行端到端的模型训练,显著提升训练效果;

多元统一的奖励系统:建立了统一的奖励系统,融合多种类型的奖励机制,为模型训练提供更加鲁棒的反馈。


链接:文心大模型 4.5  文心大模型 X1

百度发布文心大模型 4.5 及深度思考文心大模型 X1,免费开放 | AIYXL