微软详解 Agent Lightning v1.0:在部署运行框架中训练智能体

English

微软在 10 月 7 日的概述中介绍了一个可利用现有智能体系统进行强化学习的框架;该技术论文最早于 8 月提交。

微软研究院于 10 月 7 日概述了 Agent Lightning v1.0,介绍了一种在保留管理 AI 智能体工具、上下文和执行的软件的同时训练 AI 智能体的方法。[1]

该框架使用模型代理将现有的智能体运行框架(agent harness)连接到强化学习。其设计旨在减少在独立的训练系统中重建智能体行为的需要。微软称其实现紧凑,并支持以 Kubernetes 任务的方式运行智能体。[1]

在随附的研究中,作者报告称,使用约 6,000 个样本训练 Qwen3.5-9B,使 SWE-bench Verified 的性能从 41.8% 提升至 56.4%,提高了 14.6 个百分点。这些数字描述的是所报告的实验设置,并不保证其他模型或智能体也能获得改进。[2]

该论文最初于 8 月 18 日提交至 arXiv。10 月的文章是后续的官方概述,而不是该框架的首次公开披露。[2]

对开发者而言,其相关意义在于可以在与部署相同的编排系统中评估学习效果。其他环境中的结果将需要单独测试。

智能体运行框架是决定调用哪些工具、如何管理上下文以及何时继续任务的周边软件。论文认为,这一周边系统应直接参与训练,因为在其他地方重建它可能会在训练与部署之间引入差异。[2]

这一选择带来了额外的研究挑战。一个任务可能产生多次模型调用,作者研究了这些调用如何成为训练样本,以及如何处理奖励和损失,而不会过度偏重产生更多样本的任务。[2]

微软的概述还描述了三个主要组件:API 网关、管理智能体执行的控制器以及训练器。这种分离使执行能够独立于训练过程运行。[1]

对于考虑采用的团队,已发布的示例为复现提供了一个起点。其基准性能提升需要结合实验中使用的模型、任务环境和训练配置来评估。

来源:

[1] 微软研究院,2026 年 10 月 7 日:https://www.microsoft.com/en-us/research/blog/agent-lightning-v1-0-a-3500-line-lightweight-agentic-rl-framework-for-training-agents-with-real-harnesses/

[2] 研究论文,最初于 2026 年 8 月 18 日提交:https://arxiv.org/abs/2608.17528