尽管 AI 军备竞赛激烈,但我们即将迎来多模型的未来

12.31 利用不同模型优势的一种越来越重要的模式是路由动态地将查询发送到最适合的模型,同时在这样做不会降低质量的情况下利用更便宜更快的模型

vb00


每周(有时每天)都会向全世界诞生一个新的最先进的 AI 模型。随着我们进入 2025 年,新车型的发布速度令人眼花缭乱,如果不是令人筋疲力尽的话。过山车的曲线继续呈指数级增长,疲劳和奇迹已成为永恒的伴侣。每个版本都突出了为什么这个特定模型比其他所有模型都好,在我们争先恐后地跟上时,无穷无尽的基准测试和条形图集合充满了我们的提要。

vb01_20241231_17356268497551890

自 2020 年以来,每年发布的大型基础模型数量呈爆炸式增长
Charlie Giattino、Edouard Mathieu、Veronika Samborska 和

Max Roser (2023) – “人工智能” OurWorldinData.org 在线发布


18 个月前,绝大多数开发人员和企业都在使用单一的 AI 模型。今天,情况正好相反。很少能找到一个规模庞大的企业,而它把自己局限于单一模型的能力。公司对供应商锁定持谨慎态度,尤其是对于一项已迅速成为长期公司战略和短期底线收入核心部分的技术。团队将所有赌注都押在单个大型语言模型 (LLM) 上的风险越来越大。 AI 战略的一部分 - AI Impact Tour 2024

但是,尽管存在这种碎片化,许多模型提供商仍然支持这样的观点,即 AI 将是一个赢家通吃的市场。他们声称,训练一流模型所需的专业知识和计算是稀缺的、可防御的和自我强化的。从他们的角度来看,构建 AI 模型的炒作泡沫最终会破灭,留下一个巨大的人工智能 (AGI) 模型,该模型将用于任何事情。独家拥有这样一种模式意味着成为世界上最强大的公司。这个奖项的规模拉开了一场争夺越来越多 GPU 的军备竞赛的序幕,每隔几个月就会在训练参数的数量上增加一个新的零。


vb02

Deep Thought,来自 Hitchhiker's Guide to the Universe BBC、Hitchhiker's Guide to the Galaxy、电视连续剧(1981年)的单一 AGI。为评论目的检索的静止图像。


我们认为这种观点是错误的。没有单一的模式可以统治宇宙,无论是明年还是未来十年。相反,AI 的未来将是多模型。


语言模型是模糊商品

《牛津经济学词典》将商品定义为“大规模买卖且单位可互换的标准化商品”。语言模型在两个重要意义上是商品:

1. 模型本身在更广泛的任务中变得越来越可互换;

2. 生成这些模型所需的研究专业知识正变得越来越分散和可访问,前沿实验室几乎无法超越彼此,开源社区中的独立研究人员紧随其后。


vb03

描述商品的商品(图片来源:Not Diamond)


但是,尽管语言模型正在商品化,但它们的实现并不均衡。从 GPT-4 一直到 Mistral Small,任何型号都非常适合处理大量核心功能。与此同时,随着我们走向边缘和边缘情况,我们看到越来越大的差异化,一些模型提供商明确专注于代码生成、推理、检索增强生成 (RAG) 或数学。这导致了无休止的苦恼、reddit 搜索、评估和微调,以便为每项工作找到合适的模型。

vb07

AI 模型正在围绕核心功能商品化,并专注于边缘。信用:Not Diamond


因此,虽然语言模型是商品,但它们更准确地被描述为模糊商品。对于许多用例,AI 模型几乎可以互换,价格和延迟等指标决定了使用哪种模型。但在能力的边缘,情况将相反:模型将继续专业化,变得越来越差异化。例如,Deepseek-V2.5 在 C# 编码方面比 GPT-4o 更强大,尽管它的大小只是 GPT-4o 的一小部分,而且便宜了 50 倍。


这两种动力 — 商品化和专业化 — 都根除了一个论点,即单个模型最适合处理所有可能的用例。相反,它们指向了 AI 的日益碎片化的前景。


多模型编排和路由

对于语言模型的市场动态,有一个恰当的类比:人脑。我们大脑的结构在 100,000 年里一直保持不变,大脑的相似性远大于不同性。在地球上的绝大多数时间里,大多数人都学到了同样的东西,也拥有相似的能力。


但后来情况发生了变化。我们培养了用语言交流的能力——首先是语音,然后是书面。通信协议促进了网络,随着人类开始相互联网,我们也开始越来越专业化。我们摆脱了需要成为所有领域的通才的负担,成为自给自足的岛屿。矛盾的是,专业化的集体财富也意味着今天的普通人比我们的任何祖先都要强得多。


在足够宽的输入空间上,宇宙总是趋向于专业化。从分子化学到生物学,再到人类社会,都是如此。如果有足够的多样性,分布式系统将始终比单体式系统更具计算效率。我们相信 AI 也是如此。我们越能利用多个模型的优势,而不是只依赖一个模型,这些模型就越能专业化,从而扩大能力的前沿。


vb06

多模型系统可以提高专业化、能力和效率。图片来源: Not Diamond


利用不同模型优势的一种越来越重要的模式是路由 — 动态地将查询发送到最适合的模型,同时在这样做不会降低质量的情况下利用更便宜、更快的模型。路由使我们能够利用专业化的所有好处 — 更高的准确性、更低的成本和延迟 — 而不会放弃泛化的任何稳健性。


从世界上大多数顶级模型本身就是路由器这一事实中可以看出路由的力量的简单演示:它们是使用 Mix of Expert 架构构建的,这些架构将每一代下一代令牌路由到几十个 Expert 子模型。如果 LLM 确实呈指数级增长,那么路由必须成为每个 AI 堆栈的重要组成部分。


有一种观点认为,LLM 在达到人类智能时将趋于稳定——随着我们完全饱和能力,我们将围绕一个单一的通用模型合并,就像我们围绕 AWS 或 iPhone 合并一样。在过去几年中,这两个平台(或其竞争对手)的能力都没有 10 倍——因此我们不妨在他们的生态系统中感到满意。然而,我们相信 AI 不会止步于人类层面的智能;它将继续远远超出我们甚至可能想象的任何限制。当它这样做时,它将变得越来越碎片化和专业化,就像任何其他自然系统一样。


我们怎么强调 AI 模型碎片化程度都不为过是一件非常好的事情。分散的市场是高效的市场:它们为买家提供动力,最大限度地提高创新能力并最大限度地降低成本。在某种程度上,我们可以利用更小、更专业的模型网络,而不是通过单个巨型模型的内部发送所有内容,从而朝着更安全、更易解释和更可控的 AI 未来迈进。


最伟大的发明没有所有者。本·富兰克林 (Ben Franklin) 的继承人没有电。图灵的遗产并不拥有所有计算机。人工智能无疑是人类最伟大的发明之一;我们相信它的未来将是——也应该是——多模式的。



By Zack Kass ,Tomás Hernando Kofman 

Zack Kass 是 OpenAI 的前市场推广主管。

Tomás Hernando Kofman 是 Not Diamond 的联合创始人兼首席执行官。