NVIDIA 扩展 Nemotron,推出面向企业和本地代理的 Super VL 与 Bolt 模型

English

NVIDIA 最新的 Nemotron 发布针对两种部署场景:专门的企业工作流和在个人电脑上运行的代理。

NVIDIA 最新的 Nemotron 发布针对两种部署场景:专门的企业工作流和在个人电脑上运行的代理。

Nemotron 3.5 Super VL 于 10 月 15 日发布,将视觉理解与推理和工具使用相结合。其混合专家架构包含 1200 亿参数,每个 token 激活 120 亿参数。

该模型可处理文本、图像、文档和视频。NVIDIA 还为团队提供定制化资源,以便将其适配到自己的术语、工具和操作流程中。

例如,一个文档处理代理可能需要解读表格、跨来源比较信息并遵循组织的规则。这说明了预期的工作流程;成功部署仍需针对实际涉及的文档和决策进行测试。

面向本地使用,NVIDIA 发布了 Nemotron 3.5 Bolt 74B-A9B 24GB。其模型卡描述了一个使用原生二位量化的视觉语言模型,可适配 24 GB 内存占用。

这一区别对在两次发布之间做选择的开发者很重要。Super VL 强调可适配的多模态工作流,而这个 Bolt 版本面向资源受限的本地环境。应用程序内存、上下文长度和其他正在运行的软件仍是部署规划的一部分。

NVIDIA 报告在选定工作负载上实现了效率和准确率提升。这些结果需要关注每次比较背后的硬件、定制化和评估条件。

来源:https://developer.nvidia.com/blog/