Liquid AI 的 LFM3 论证了小型专用模型的价值

English

Liquid AI 已发布六款紧凑型开放权重模型,覆盖文本、视觉、音频和决策任务。它们的实际吸引力在于选择狭窄的任务,并在实际运行它们的硬件上衡量性能。

AI生成的设备端小模型概念图

从服务报告中提取字段的助手,未必需要与解读视频或响应语音指令的助手使用同一个模型。Liquid AI 发布的 LFM3 将这一区别转化为一系列专用模型。

该六模型系列于 10 月 27 日发布,共享同一主干架构,参数量保持在约 20 亿级别。它覆盖文本、视觉、音频、组合多模态输入以及经过校准的决策输出。Liquid AI 表示,这些模型可在单块 GPU 上微调。

足够小以便部署,足够具体以便评估

该公司表示,其 LFM3-1.7B 文本模型在四位精度下占用约 1 GB,并支持 256K token 的上下文窗口。这一内存数字不应被解读为每个应用的总需求:运行时组件和工作上下文也需要占用资源。

该文本模型自身的模型卡划定了一条有用的边界。它面向本地智能体、工具调用和结构化输出,但由于其规模,不建议用于智能体编码或复杂的多步推理。

其列出的许可证为 LFM Open License v1.0。可获取的权重不应与没有许可条件混为一谈;部署审查需要关注所选检查点附带的条款。

从可检查的任务开始

AIYXL 的务实解读是,紧凑型模型最值得关注之处,在于其职责能够被精确定义。

设想一个将维护笔记转换为固定格式记录的应用。评估可以检查设备标识符、故障描述和服务日期是否正确,以及模型是否会将缺失信息留空,而不是凭空编造。

语音界面需要额外检查:嘈杂环境中的识别、响应延迟,以及语音请求是否会转化为预期操作。增加另一种模态会改变需要测试的系统。

LFM3 为开发者在设备端提供了更多选择。其价值将取决于所选模型能否在该设备的内存、延迟和运行约束内可靠地完成有用的工作流。

来源:Liquid AI 的发布文章 · LFM3-1.7B 模型卡