人工智能正在以前所未有的速度改变职场。从自动化日常任务到在各个行业中生成洞察，人工智能工具正成为组织运营不可或缺的一部分。然而，一种被称为代理性人工智能的新一波人工智能，从根本上是不同的。与遵循明确指令的传统人工智能不同，代理性人工智能自主运营，追求目标，实时学习，并在无人干预的情况下做出决策。这种从工具到独立行动者的飞跃带来了巨大的机遇，但也带来了前所未有的风险。
代理型人工智能的崛起不仅仅是一个未来概念；它已经在发生了。最近的研究报告称，尽管82%的组织已经在使用人工智能代理，但只有44%的组织制定了正式的政策来管理这些代理的运作。采用与监督之间的这种差距突显出一个关键挑战：组织在整合自主人工智能的速度比它们准备管理它还要快。
理解代理型人工智能：不仅仅是工具
为了理解为什么代理型AI需要新的治理方法，将这些系统视为数字自由代理是有帮助的。与被动执行指令的标准软件不同，代理型AI能够实时做出决策，适应变化的情况，并自主追求目标。从实际来看，这意味着AI代理可以发起行动、生成内容、访问系统，甚至与外界通信，而无需等待人类的批准。
传统的治理方法是为可预测的软件设计的，不适合用来管理AI代理。它们的自主性需要新的框架来实现责任、风险管理以及运营监督。组织必须重新思考如何监控、控制和与这些数字同事合作。
来自现实世界代理失败的教训
最近涉及Anthropic的AI代理“Claudius”的事件说明了风险。Claudius被部署在Project Vend中操作自动售货机，做出了几次代价高昂的决策：它错误地定价了库存，以低于成本的价格出售产品，并编造了对话，最终导致了亏损。一旦代理执行了这些选择，研究人员就无法逆转造成的经济损失。这个事件突显了AI代理所采取的不可逆转的行动如何迅速失控，强调了一个日益严重的现实：AI代理已经在现实世界系统中做出具有重大影响的决策。
这不是一个孤立的案例。事实上，80%的组织报告称他们已经遇到过AI代理带来的风险行为，包括不适当的数据显示和未经授权访问系统。随着代理型AI渗透到从银行到制造业的各个行业，IT领导者的疑问不再是是否一个AI可能会违规，而是何时以及如何确保它不会违规。与传统软件不同，这些系统能够自主思考、行动和适应。管理它们需要一种全新的治理方式，不仅需要监控代码，还需要预测意图。
管理你的新同事：人工智能
管理代理型人工智能始于一个简单但令人清醒的真理：你对它所做的一切负责。这些系统可能表现出自主性，但它们的选择、错误和结果都可追溯到部署它们的人类。
类似于组织在招聘、管理及审计人类员工方面已经发展出几十年的最佳实践，同样的原则也可以指导数字同事的负责任管理。最佳实践包括：
有效的治理需要以身份为基础。每个AI代理都应被视为一个独特的数字实体，具有可追踪、管理并承担责任的独特身份。
基于角色的访问是基础。通过分配精确的角色并实施严格的访问控制，组织确保每个代理仅与其执行功能所需的操作系统和数据进行交互，不再有更多交互。最小权限原则最大限度地减少不必要的暴露，降低风险，并在每个级别加强责任。
验证非常重要。多因素身份验证、设备信任和会话控制有助于确认每个操作是否来自正确的实体，在正确的时间，出于正确的理由。结合最小权限原则，这些规定可以限制如果某些事情出错，代理造成的损害。通过隔离和分割访问，进一步减少“爆炸半径”，确保单一步骤不会在整个环境中产生连锁反应。
可见性完善了整个画面。持续的日志记录和实时监控使组织能够审核每一个决策，并即时响应可疑行为。这不仅仅是关于检测问题，而是关于建立一个动态的问责和信任记录。当您可以将每一个操作追溯到可验证的身份时，监督变成了主动的而不是被动的。
有人在循环中。 在可能的情况下，确保有人仍然在“循环”中，并在允许任何破坏性或其他严重后果之前确认行动。由于智能体只是按照其编程进行操作，很难对智能体的破坏性行为负责。
IT领导者的积极策略
代理型人工智能的崛起正在重塑企业技术，使工作流程加速30%到50%。IT领导者还必须迅速工作，在出现失误之前建立指导规则。这些规则应与技术一起发展，以保持相关性和有效性。
建立控制和界限
控制和边界是至关重要的，特别是在AI代理与敏感系统互动时。将手动检查点、紧急停止开关和批准环节纳入工作流程。这些保障措施作为防止不可逆错误的最后一道防线，在必要时允许人类进行干预。
优先考虑透明度
透明度是不可协商的。每个代理所采取的行动都应被记录、标记时间戳，并且易于追踪。对目标、任务和决策的清晰记录确保了责任。含糊的指示会邀请创造性解释，这可能会导致自主代理以意想不到的方式行事。
鼓励人类协作
通过让同事了解并赋予他们权力来保持人工监督。用户应该能够轻松标记意外行为或不安全的输出。人类仍然是检测异常的最佳早期预警系统，因此促进人与人工智能的合作至关重要。
保持直接监督
对AI活动进行定期审计有助于检测角色偏移、未经授权的访问或危险行为。日志应定期审查，并根据代理的责任变化更新权限。这些做法确保AI代理与组织目标和合规要求保持一致。
塑造未来的代理型人工智能
人工智能已在全球范围内普遍存在，并且99.6%的公司已经在其工作流程中采用某种工具。 代理型人工智能可以加速生产力并解锁新的机会，但其自主性带来了真正的风险。 没有监督，AI代理可能会表现出不可预测的行为，滥用数据，或者造成难以撤销的干扰。
在这个新时代取得成功的组织将像对待可负责任的数字同事一样对待人工智能代理。通过建立强大的治理结构、实施基于身份的访问和验证、并促进人与人工智能的合作，企业可以在最小化风险的同时利用自主性的优势。
代理型人工智能不再是一个未来概念，它已经是当今的现实。组织越早采用积极的管理策略，就越能安全、负责和有效地解锁这些自主系统的全部潜力。通过将代理型人工智能视为既强大又需负责，组织可以在创新与风险之间找到平衡，确保人工智能成为值得信赖的合作伙伴，而不是一个无法控制的因素。