BioBasicsBench 将杂乱的实验室证据置于 AI 评估的核心

English

OpenAI 与 Ligo 于11月6日推出了一个包含100项任务的湿实验室分析基准。公布的分数衡量的是开发者主导评估中的评分标准得分,而非成功完成的实验或经独立验证的实验室可靠性。

AI生成概念图:放大镜审视抽象实验样本与空白观察卡,表现证据核查。

2026年11月6日,OpenAI 与酶设计公司 Ligo 共同推出 BioBasicsBench,将评估问题转向普通实验室证据。该基准包含100项湿实验室分析任务,输入包括凝胶图像、显微镜和仪器输出等。它要求智能体解读证据、识别错误,并判断结论在何时缺乏支持。[S1]

在 OpenAI 报告的 xhigh 推理强度评估中,GPT-6 Astra 获得了可用评分标准得分的66.7%,而 GPT-5.6 Sol 为43.8%。这些是包含部分得分的平均分,并非成功完成实验的百分比。此次发布是一项基准公告,而非新模型发布或已部署的自主实验室服务。[S1]

OpenAI 既描述了改进,也描述了仍存在的失败,包括假设凌驾于实验对照之上的情况。The Independent AI 11月7日的报道同样指出这些分数是 OpenAI 的数据。AIYXL 尚未独立复现这些结果,也未进行实验室测试。[S1][S2]

对研究团队而言,有价值的编辑性问题是:一个不确定的答案出现之后应当发生什么。一份经过润色的解释仍可能使下一步实验选择缺乏依据。助手应当让科学家能够将结论追溯至观察结果、所进行的比较以及可能推翻该结论的证据。

这为未来的部署提出了一个实用的验收标准:保留原始输入,记录助手使用了哪些证据,并区分提议性解读与经研究人员批准的决定。这样,团队就可以在错误影响工作的环节审查错误,而不是把单一汇总分数视为自动化整个工作流程的许可。

独立复现将回答另一个问题:所报告的提升能否在不同工具、数据准备和运行条件下依然成立。在出现这类证据之前,最好将此公告解读为面向科学助手的一项更具体的测试议程。下一个有意义的里程碑,是证据表明更好的分析能在实验室实际运行的环境中产生可靠决策。

来源:

[S1] OpenAI 发布内容,11月6日——设计与开发者报告分数的主要证据;非独立验证

[S2] The Independent AI,11月7日——对公告的二次佐证;明确将这些分数标为公司数据,而非复现结果