昆仑万维 Skywork R1V 多模态推理模型震撼开源!中国AI军团再传捷报!

3.18 昆仑万维团队首次提出利用Skywork-VL的视觉投影器,无需重新训练语言模型和视觉编码器,即可实现文本推理能力的高效迁移到视觉任务,同时保留了优秀的原本推理文本能力AIME72.0,MATH50094.0

昆仑万维今日正式宣布, Skywork R1V 多模态推理模型,正式开源! 这是中国首个工业界开源的多模态推理模型。

03915115544 

Skywork R1V 在权威的 MATH500和 AIME 基准测试中,分别斩获94.0和72.0的超高分! 在 MMMU 和 MathVista 等视觉推理基准测试中,分别取得了69和67.5的高分!


400581247783



Skywork R1V 模型三大关键技术创新:

文本推理能力的多模态高效迁移

昆仑万维团队首次提出利用 Skywork-VL 的视觉投影器,无需重新训练语言模型和视觉编码器,即可实现文本推理能力的高效迁移到视觉任务,同时保留了优秀的原本推理文本能力(AIME 72.0,MATH500 94.0)。

 

多模态混合式训练(Iterative SFT+GRPO)

通过结合迭代监督微调(Iterative SFT)和 GRPO 强化学习,分阶段对齐视觉-文本表征,实现跨模态任务的高效融合,极大提升跨模态任务的表现。推动模型在 MMMU 基准达到 69 分的能力,同时在 MathVista 达到 67.5 分,与更大规模的闭源模型基本持平。通过反复迭代地利用高质量数据与高难度数据的组合,实现模型持续的知识巩固与错误纠正,显著提升了多模态推理的精度与泛化性能。

 

自适应长度思维链蒸馏

团队提出了一种基于视觉-文本复杂度的自适应推理链长度控制机制,动态优化模型推理过程,避免模型“过度思考”,提升推理效率。结合多阶段自蒸馏策略,进一步提升了数据生成与推理过程的质量,促进了模型在复杂多模态任务中的表现。

4305323693


模型权重下载

Hugging Face:https://huggingface.co/Skywork/Skywork-R1V-38B

GitHub:https://github.com/SkyworkAI/Skywork-R1V

详细技术报告

https://github.com/SkyworkAI/Skywork-R1V/blob/main/Skywork_R1V.pdf