该图片由 AIYXL 使用 AI 生成
Inception 于 10 月 19 日推出 Mercury 3，扩展了其基于扩散的语言模型产品线。
该模型可通过 Inception 的 API 平台和合作伙伴服务使用。其公布规格包括 100 万 token 的上下文窗口，应用面向交互式支持、教育、搜索和浏览器代理。
速度声明需要结合工作负载背景
Inception 报告称，在 NVIDIA GPU 上生成吞吐量超过每秒 1,000 个 token。它还发布了与其他以速度为重点的模型的基准对比。
这些数据来自厂商测试。它们并不能证明在所有应用中具有同等的响应时间或任务成功率。
对于交互式系统，模型生成只是耗时的一部分。检索、外部工具和重复执行步骤也会影响用户等待的时间。
衡量完整交互
更快的生成速度为更具响应性的产品创造了空间，但有用的衡量标准取决于具体任务。
支持助手应基于准确解决问题的表现进行评估。浏览器代理应基于其是否能可靠完成所请求的操作进行评估。试验应在记录 token 吞吐量的同时，记录端到端时间、被接受的结果以及从失败中恢复的情况。
Mercury 3 为开发者提供了另一种可对照这些实际需求进行评估的架构。