位于美国纽约的 Uptime Industries Inc. 运营平台 Lemony.ai 今天发布了一款开源工具 Cascadeflow，据称该工具可以通过将提示动态路由到最具成本效益的可用语言模型来降低人工智能应用程序开发成本。
Cascadeflow 旨在帮助开发人员在不影响质量或性能的情况下减少应用程序编程接口支出。Lemony 的联合创始人兼首席执行官 Sascha Buehrle 表示，大多数开发人员都会为每个查询对大型语言模型进行硬编码。“Cascadeflow 通过为每项任务动态选择正确的模型，让开发人员可以更智能地运行，而不是更大的运行，”他说。
该软件通过级联管道路由每个提示。它首先使用一个小型、廉价的模型，然后根据可配置的质量指标（如完整性和正确性）评估结果。如果输出不足，软件会将提示升级为更大的模型。这种方法称为推测执行，旨在降低为每个提示使用旗舰模型的成本。
该软件跟踪跨模型和提供商的令牌使用情况和成本，提供可配置的预算控制和每个查询的支出上限。开发人员在本地成本文件中定义自己的定价，以考虑提供商合同中的差异。
Buehrle 说，初步基准表明，高达 85% 的提示可以使用较小或特定领域的模型来处理。“你不需要旗舰模型来回答'什么是 2 加 2'，”他说。Lemony 的主要业务是提供运行缩小语言模型的本地边缘设备。
Cascadeflow 最初支持 OpenAI LLC、Anthropic PBC、Hugging Face Inc.、Groq Inc.、Together Computer Inc. 以及开源 vLLM 和 Ollama 的商业模型和处理器。它还与基于 Python 的 LightLLM 集成，可以访问大约 100 种额外的语言模型。该软件可用于云环境、本地计算机或边缘设备。
“你可以在人工智能应用程序运行的任何地方运行它，”Buehrle 说。“它只会给你的人工智能堆栈增加两毫秒的延迟。”
该软件可以与代理框架一起部署，与模型控制协议兼容，并支持各种提供商的批处理、流式处理和缓存优化。它与 n8n 集成，n8n 是一个广泛用于构建代理工作流程的低代码自动化平台。
Buehrle 表示，该公司选择将 cascadeflow 作为开源发布，以在成本控制过程中建立社区参与和透明度。“将 Lemony 的核心作为开源推出非常重要，”他说。“建立一个社区并从使用它的公司那里获得收益非常重要。”
Cascadeflow 从今天开始在 GitHub 上可用。