图片由 AIYXL 用 AI 生成
一份会议纪要可以读起来很顺畅，却仍然漏掉真正重要的决定。一个关于项目的回答可以引用相关文档，却忽略之后的变更。办公 AI 需要一个测试环境，使这些错误有可能发生——并且能够被识别出来。
在 10 月 30 日的一篇研究博客中，微软介绍了其行业评估数据生成平台（Industry Evaluation Data Generation Platform），该平台为 Copilot 评估构建合成企业工作空间。这些工作空间包含虚构的员工、会议、电子邮件历史和文档，而不是客户记录。包括职业数据、招聘信息和 SEC 申报文件在内的公开来源，帮助塑造其组织背景。
这些环境涵盖制药、资本市场和软件公司场景。微软还描述了一个自动化流程，用于生成与模拟材料相关的问题，并检查生成数据集的质量。这些是评估资源；该公告并非面向用户推出的新 Copilot 功能。
最有趣的设计选择是时间。这些工作空间包含不断发展的对话和项目历史。这使得一个问题可以取决于某个特定决策之前或之后发生了什么，而不是取决于模型能否找到一句匹配的话。
设想一个假设的团队，最初提出一个发布日期，在会议上推迟该日期，随后通过电子邮件确认修改后的日期。询问当前日期，测试的是助手能否理顺这一时间顺序。询问发生了什么变化，测试的是另一种能力：解释这一转变，同时不把已放弃的计划表述为仍然有效的承诺。这个例子说明了评估问题；它并非微软报告的一项测试结果。
对于正在选择 AI 助手的企业而言，这种区分可以让演示更具信息价值。精心挑选的一份文档可能很容易总结。一小组相关材料，其中包含一处明确更正和已知的最终答案，可以揭示助手是否能处理它们之间的关系。
合成数据还使得准备一些示例成为可能，而这类示例若从一家实际运营的公司中分享出来会令人尴尬。可以有意编写一个虚构的部门间分歧。可以故意设置一个缺失的附件。预期答案可以指出这一缺口，而不是奖励自信的猜测。这些是该方法的可能用途，而非本文已验证的能力。
局限性在于，虚构办公室反映了其作者的假设。如果其记录异常整洁，其测试可能会奖励一种行为，而这种行为在不一致的名称、旧附件或不完整的交接中会变得脆弱。因此，测试材料质量应与助手的回答一并受到审视。
对采用者而言，一个有用的下一步是描述少量反复出现的任务，以及每个成功回答应保留的证据。这可能意味着在会议摘要中保留一项例外，或将提案与批准区分开来。此类案例为试点赋予具体目的，并创造出可在更新后重新运行的材料。
微软的这项工作将注意力转向提示词所置身的职场环境。对于企业 AI 而言，一个令人信服的回答应当经得起它声称要解释的工作历史的检验。