IBM开源轻量级Granite 4.0 Nano模型,推动AI在边缘设备普及

10.29 这一系列包含四款新型号,参数规模从3.5亿到15亿不等,专为在资源受限的本地设备上运行而设计,旨在将强大的AI能力从云端数据中心带到用户的笔记本电脑浏览器乃至边缘设备上

2025年10月,IBM正式开源了其最新的轻量级人工智能模型系列——Granite 4.0 Nano。这一系列包含四款新型号,参数规模从3.5亿到15亿不等,专为在资源受限的本地设备上运行而设计,旨在将强大的AI能力从云端数据中心带到用户的笔记本电脑、浏览器乃至边缘设备上。

 

Granite 4.0 Nano系列的核心优势在于其卓越的硬件亲和力。其中最小的3.5亿参数(350M)型号,能够在配备8-16GB内存的现代笔记本电脑CPU上流畅运行;而15亿参数(1.5B)的型号则通常需要一块拥有至少6-8GB显存的GPU以获得最佳性能,当然也可以通过充足的系统内存和交换空间在纯CPU环境下进行推理。这种设计极大地降低了AI应用的部署门槛,使开发者无需依赖昂贵的云计算资源,即可在消费级硬件上构建和运行AI驱动的应用程序。

 

为了最大化其通用性和可及性,所有Granite 4.0 Nano模型均在宽松的Apache 2.0开源许可证下发布。这意味着无论是学术研究人员、企业还是独立开发者,都可以自由地使用、修改这些模型,甚至将其应用于商业产品中。此外,该系列模型原生兼容当前主流的推理框架,如`llama.cpp`、`vLLM`和`MLX`,确保了开发者能够轻松地将其集成到现有工作流中。

 

在基准测试中,IBM 的新型号始终在同类产品中名列前茅。根据 IBM Research 人工智能模型副总裁 David Cox 在 X 上分享的数据:


2025-10-29_141625_762 

 

  • 在IFEval(指令遵循)上,Granite-4.0-H-1B得分为78.5分,优于Qwen3-1.7B(73.1分)和其他1-2B模型。

  • 在 BFCLv3(函数/工具调用)上,Granite-4.0-1B 以 54.8 分领先,是同类尺寸中最高的。

  • 在安全基准(SALAD 和 AttaQ)中,Granite 型号的得分超过 90%,超过了类似规模的竞争对手。

 

 2025-10-29_141759_915 

 

在AI伦理和安全日益受到关注的背景下,IBM还为Granite 4.0全系列模型(包括Nano型号)申请并通过了ISO/IEC 42001认证。这是全球首个针对人工智能管理系统(AIMS)的国际标准,Granite 4.0也因此成为世界上首个获得该认证的开源大模型家族。此举彰显了IBM在推动“负责任AI”(Responsible AI)方面的承诺,为模型的透明度、安全性和可靠性提供了有力保障。

 

通过推出Granite 4.0 Nano,IBM不仅为开发者社区提供了一套高效、易用且可信赖的本地化AI工具,更是在推动人工智能技术普惠化和去中心化的道路上迈出了坚实的一步。


https://huggingface.co/blog/ibm-granite/granite-4-nano