OpenAI 的 LifeVal 测试人们希望 AI 协助处理的日常事务

English

OpenAI 推出了一项基准测试,其设计参考了对 3,995 人的调查。其任务涵盖教育、照护和公共服务等领域;在这些领域,知道何时将决定权交还给用户,可能是出色完成任务的一部分。

AI 生成的概念插图,展示家庭公告板上呈现的日常事务

一个家庭搬到新社区,请助手比较幼儿园。一份名单可以作为一个起点。等到这个家庭能据此采取行动时,还需要有人知道哪些项目在可及范围内、招生是否开放,以及哪些取舍仍须由父母自己决定。

这一请求的一个版本出现在 LifeVal 中,这是 OpenAI 于 11 月 2 日推出的一项评估。该公司利用时间利用研究来识别常见活动,并调查了 3,995 人,了解他们在哪些方面会看重协助。由此生成的任务涵盖照护、教育、家庭事务管理、购物和获取政府服务等领域。

幼儿园这个例子说明了一种有用的任务收尾方式。在 OpenAI 公布的示例中,助手提供了一份候选名单,并标出两项需要用户自行确定的偏好。OpenAI 将该任务作为评估示例展示。使用类似候选名单的家庭仍需获取最新的本地信息,并且如果决定申请,还需得到学校的确认。

当一份打磨精良的回复让所有调研听起来都已有定论时,这条边界可能很难看清。一家服务提供方可能公开列出了截止日期,另一家可能滚动接受申请,还有一家可能需要电话咨询。一个有用的助手会清楚记录它查到了什么、只能推断什么。这让家庭在投入时间或分享文件之前,需要核对的清单更短。

同样的问题也出现在 LifeVal 的其他任务领域。填写表格草稿、保存以供审核和提交是三个不同的步骤。当最后一步需要身份验证或授权时,系统或许能协助前两步。当某项操作完成后,回执或明确的状态有助于用户看清责任在何处重新交回自己手中。

LifeVal 为模型开发者提供了一种方法,用来考察模型在用户能从自身生活中识别的任务上是否取得进展。OpenAI 报告的分数描述的是模型在其评估中的表现。对于正试图办完一件日常事务的人来说,特别有用的输出还会回答一个简单问题:如果我现在放下手机,还有什么在等着我?

来源 · OpenAI 研究公告与论文