实践中衡量 AI 智能体自主性 \ Anthropic

来源: https://www.anthropic.com/news/measuring-agent-autonomy 抓取时间: 2026-07-21 16:23:30

社会影响

实践中衡量 AI 智能体自主性

Feb 18, 2026

AI 智能体已经到来，并且已经部署在后果差异很大的各种场景中，从电子邮件分类到网络间谍活动。理解这个范围对于安全部署 AI 至关重要，但我们对人们在现实世界中实际如何使用智能体知之甚少。

我们使用隐私保护工具分析了 Claude Code 和我们公共 API 上的数百万次人机智能体互动，以询问：人们给予智能体多大的自主权？随着人们获得经验，这种情况会如何变化？智能体在哪些领域运行？智能体采取的行动有风险吗？

我们发现：

• Claude Code 自主工作的时间更长。 在持续时间最长的会话中，Claude Code 停止前工作的时长在三个月内几乎翻了一番，从不到 25 分钟增加到超过 45 分钟。这种增长在模型发布期间是平稳的，这表明它不完全是能力增强的结果，现有模型能够实现比实际练习的更高的自主性。

• Claude Code 中的经验用户更频繁地自动批准，但也更频繁地中断。 随着用户获得使用 Claude Code 的经验，他们倾向于停止审查每个动作，而是让 Claude 自主运行，仅在需要时进行干预。在新用户中，大约 20% 的会话使用完全自动批准，随着用户获得经验，这一比例增加到 40% 以上。

• Claude Code 暂停以寻求澄清的频率高于人类中断它的频率。 除了人类发起的停止之外，_智能体_发起的停止也是部署系统中重要的监督形式。在最复杂的任务上，Claude Code 停止请求澄清的频率是人类中断它的两倍多。

• 智能体用于风险领域，但尚未大规模使用。 我们公共 API 上的大多数智能体动作都是低风险且可逆的。软件工程占智能体活动的近 50%，但我们看到在医疗保健、金融和网络安全领域的使用正在兴起。

下面，我们更详细地介绍我们的方法和发现，并以对模型开发者、产品开发者和政策制定者的建议结束。我们的核心结论是，对智能体的有效监督将需要新形式的部署后监控基础设施，以及新的人机交互范式，帮助人类和 AI 共同管理自主性和风险。

我们将我们的研究视为朝着以经验为基础理解人们如何部署和使用智能体的重要第一步。随着智能体被更广泛地采用，我们将继续迭代我们的方法并传达我们的发现。

研究现实中的智能体

智能体很难进行实证研究。首先，对于智能体_是什么_没有达成一致的定义。其次，智能体正在迅速发展。去年，许多最复杂的智能体——包括 Claude Code——涉及单一的对话线程，但今天有可以自主运行数小时的多智能体系统。最后，模型提供商对其客户的智能体架构的可见性有限。例如，我们没有可靠的方法将对我们 API 的独立请求关联成智能体活动的"会话"。（我们在本文末尾更详细地讨论了这一挑战。）

鉴于这些挑战，我们如何以实证方式研究智能体？ 首先，在这项研究中，我们采用了一个有概念基础且可操作的智能体定义：智能体是一个配备有工具的 AI 系统，允许它采取行动，如运行代码、调用外部 API 和向其他智能体发送消息。¹ 研究智能体使用的工具告诉我们很多关于它们在世界上做什么的信息。

接下来，我们开发了一组指标，这些指标利用了我们公共 API和我们自己的编码智能体 Claude Code的智能体使用数据。这些提供了广度和深度之间的权衡：

• 我们的公共 API 让我们对数千个不同客户的智能体部署有广泛的了解。我们没有尝试推断客户的智能体架构，而是在_单个工具调用_的级别上进行分析。² 这个简化的假设使我们能够对现实世界的智能体进行有根据、一致的观察，即使这些智能体部署的环境差异很大。这种方法的局限性是我们必须孤立地分析动作，无法重建单个动作如何随着时间的推移组合成更长的行为序列。

• Claude Code 提供了相反的权衡。因为 Claude Code 是我们自己的产品，我们可以跨会话链接请求，并从头到尾理解整个智能体工作流。这使得 Claude Code 对于研究自主性特别有用——例如，智能体在没有人工干预的情况下运行多长时间，什么触发了中断，以及用户如何在积累经验的过程中保持对 Claude 的监督。然而，由于 Claude Code 只是一个产品，它不能提供与 API 流量一样多的关于智能体使用的多样性见解。

通过使用我们的隐私保护基础设施从这两个来源获取数据，我们可以回答任何一个来源都无法单独解决的问题。

Claude Code 自主工作的时间更长

智能体在没有人类参与的情况下实际运行多长时间？在 Claude Code 中，我们可以通过逐轮跟踪 Claude 开始工作和停止之间经过的时间来直接测量这一点（无论是因为它完成了任务、提出了问题，还是被用户打断）。³

轮次持续时间是自主性的不完美代理。⁴ 例如，能力更强的模型可以更快地完成相同的工作，而子智能体允许更多的工作同时发生，这两者都会推动轮次变短。⁵ 同时，随着时间的推移，用户可能会尝试更雄心勃勃的任务，这会推动轮次变长。此外，Claude Code 的用户群正在迅速增长——因此也在变化。我们无法孤立地测量这些变化；我们测量的是这种相互作用的净结果，包括用户让 Claude 独立工作多长时间、他们给它的任务的难度，以及产品本身的效率（每天都在改进）。

大多数 Claude Code 轮次都很短。中位数轮次持续约 45 秒，这个时长在过去几个月中只有轻微波动（在 40 到 55 秒之间）。事实上，几乎所有低于第 99 百分位的百分位都保持相对稳定。⁶ 这种稳定性是我们对快速增长产品的预期：当新用户采用 Claude Code 时，他们相对缺乏经验，并且——正如我们在下一节中展示的——不太可能给予 Claude 完全的自由。

更具启发性的信号在尾部。最长的轮次告诉我们最多关于 Claude Code 最雄心勃勃的使用，并指出了自主性的方向。在 2025 年 10 月到 2026 年 1 月之间，第 99.9 百分位的轮次持续时间几乎翻了一番，从不到 25 分钟增加到超过 45 分钟（图 1）。 图 1. 交互式 Claude Code 会话中的第 99.9 百分位轮次持续时间（Claude 逐轮工作多长时间），7 天滚动平均。第 99.9 百分位从 9 月下旬的不到 25 分钟稳步增长到 1 月初的超过 45 分钟。该分析反映了所有交互式 Claude Code 使用量。

值得注意的是，这种增长在模型发布期间是平稳的。如果自主性纯粹是模型能力的函数，我们会期望每次新发布都有急剧的跳跃。相反，这一趋势的相对稳定性表明有几个潜在因素在起作用，包括资深用户随着时间的推移对工具建立信任，将 Claude 应用于日益雄心勃勃的任务，以及产品本身的改进。

自 1 月中旬以来，极端轮次持续时间有所下降。我们假设了几个原因。首先，Claude Code 用户群在 1 月到 2 月中旬之间翻了一番，更大和更多样化的会话人口可能会重塑分布。其次，随着用户从假期休息回来，他们带到 Claude Code 的项目可能已经从业余项目转变为更严格限定的工作任务。最有可能的是，这是这些因素和其他我们尚未确定的因素的组合。

我们还研究了 Anthropic 内部的 Claude Code 使用，以了解独立性和实用性如何共同演变。从 8 月到 12 月，Claude Code 在内部用户最具挑战性的任务上的成功率翻了一番，同时每次会话的平均人工干预次数从 5.4 次减少到 3.3 次。⁷ 用户给予 Claude 更多的自主权，至少在内部，在需要更少干预的同时实现了更好的结果。

两种测量都指向显著的部署悬差，即模型能够处理的自主权超过了它们在实践中实际行使的自主权。

将这些发现与外部能力评估进行对比是有用的。最广泛引用的能力评估之一是 METR 的"衡量 AI 完成长期任务的能力"，该评估估计Claude Opus 4.5 可以以 50% 的成功率完成人类需要近 5 个小时才能完成的任务。相比之下，Claude Code 中的第 99.9 百分位轮次持续时间约为 42 分钟，中位数要短得多。然而，这两个指标不能直接比较。METR 评估捕捉的是模型在理想环境中、没有人机交互和没有现实世界后果的情况下能够做什么。我们的测量捕捉的是实际发生的情况，在那里 Claude 停下来寻求反馈，用户会打断。⁸ 而 METR 的五小时数字衡量的是任务难度——人类完成任务需要多长时间——而不是模型实际运行多长时间。

仅靠能力评估和我们的测量都无法完整地描绘智能体自主性，但它们共同表明，实践中给予模型的自由滞后于它们能够处理的程度。

Claude Code 中的经验用户更频繁地自动批准，但也更频繁地中断

人类如何随着时间的推移调整他们与智能体的工作方式？我们发现，随着人们获得使用 Claude Code 的经验，他们给予 Claude Code 更多的自主权（图 2）。较新的用户（<50 次会话）在大约 20% 的时间内使用完全自动批准；到 750 次会话时，这一比例增加到超过 40% 的会话。

这种转变是渐进的，表明信任在稳步积累。同样重要的是要注意，Claude Code 的默认设置要求用户手动批准每个动作，因此这种转变的一部分可能反映了用户在熟悉 Claude 的能力后，将产品配置为匹配他们对更大独立性的偏好。

图 2. 按账户使用时长划分的自动批准率。经验丰富的用户越来越多地让 Claude 在没有任何手动批准的情况下运行。数据反映了 2025 年 9 月 19 日之后注册的用户的所有交互式 Claude Code 使用情况。线条和置信区间边界是 LOWESS 平滑的（0.15 带宽）。x 轴是对数刻度。

批准动作只是监督 Claude Code 的一种方法。用户也可以在 Claude 工作时中断它以提供反馈。我们发现中断率随着经验的增加而增加。新用户（约 10 次会话的用户）在 5% 的轮次中中断 Claude，而经验更丰富的用户在约 9% 的轮次中中断（图 3）。

图 3. 逐轮按账户使用时长划分的中断率。经验丰富的用户更频繁地中断 Claude，而不是更少。数据反映了 2025 年 9 月 19 日之后注册的用户的所有交互式 Claude Code 使用情况。阴影区域显示 95% Wilson 得分置信区间。线条和置信区间边界是 LOWESS 平滑的（0.15 带宽）。x 轴是对数刻度。

中断_和_自动批准都随着经验的增加而增加。这种明显的矛盾反映了用户监督策略的转变。新用户更有可能在每个动作采取之前批准它，因此很少需要在执行中中断 Claude。经验丰富的用户更有可能让 Claude 自主工作，在出现问题或需要重定向时介入。较高的中断率也可能反映了用户的积极监控，他们对何时需要干预有更敏锐的直觉。我们预计逐轮中断率最终会随着用户稳定下来进入稳定的监督风格而达到平台期，实际上曲线在最有经验的用户中可能已经趋于平稳（尽管更高会话数的置信区间扩大使得这一点难以确认）。⁹

我们在公共 API 上看到了类似的模式：最小复杂度任务（如编辑一行代码）上 87% 的工具调用有某种形式的人类参与，而高复杂度任务（如自主发现零日漏洞或编写编译器）上只有 67% 的工具调用有人类参与。¹⁰ 这可能看起来违反直觉，但有两种可能的解释。首先，随着步骤数量的增加，逐步批准变得不太实际，因此在复杂任务上监督每个动作在结构上更难。其次，我们的 Claude Code 数据表明，经验丰富的用户倾向于给予工具更多的独立性，而复杂任务可能不成比例地来自经验丰富的用户。虽然我们无法直接测量公共 API 上的用户使用时长，但整体模式与我们在 Claude Code 中观察到的一致。

综上所述，这些发现表明，经验丰富的用户不一定是在放弃监督。中断率随着自动批准的增加而增加，这表明某种形式的积极监控。这强化了我们之前提出的观点：有效的监督不需要批准每个动作，而是需要能够在重要的时候进行干预。

Claude Code 暂停以寻求澄清的频率高于人类中断它的频率

当然，人类并不是唯一塑造自主性在实践中如何展开的参与者。Claude 也是积极的参与者，在不确定如何进行时停下来寻求澄清。我们发现，随着任务复杂性的增加，Claude Code 更频繁地请求澄清——而且比人类选择中断它的频率更高（图 4）。

图 4. 按目标复杂度划分的 Claude 澄清问题和人类中断情况。随着任务变得越来越复杂，Claude 更有可能请求澄清，人类更有可能中断。Claude 发起的停止比人类发起的停止增加得更快。所有类别的 95% 置信区间 < 0.9%，n = 50 万次交互式 Claude Code 会话。

在最复杂的任务上，Claude Code 请求澄清的频率是最小复杂度任务的两倍多，这表明 Claude 对自己的不确定性有一定的校准。然而，重要的是不要过度解释这一发现：Claude 可能不会在正确的时刻停止，它可能会提出不必要的问题，其行为可能会受到产品功能的影响，例如计划模式。无论如何，随着任务变得越来越困难，Claude 越来越多地通过停下来咨询人类来限制自己的自主性，而不是要求人类介入。¹¹

表 1 显示了 Claude Code 停止工作和人类中断 Claude 的常见原因。

Claude Code 为什么停止？

表 1. 基于 50 万次人类中断和 50 万次交互式 Claude Code 会话中已完成轮次的样本，由 Claude 确定的 Claude 停止自己和人类中断 Claude 的常见原因。一些集群为清晰起见进行了轻微编辑。¹²

这些发现表明，智能体发起的停止是部署系统中重要的一种监督。训练模型识别自己的不确定性并据此采取行动是一种重要的安全属性，它补充了外部保障措施，如权限系统和人类监督。在 Anthropic，我们训练 Claude 在面临模糊任务时提出澄清问题，我们鼓励其他模型开发者也这样做。

智能体用于风险领域，但尚未大规模使用

人们使用智能体做什么？这些部署有多大风险？这些智能体有多自主？风险是否与自主权权衡？

为了回答这些问题，我们使用 Claude 来估计我们公共 API 中单个工具调用中存在的相对风险和自主权，范围从 1 到 10。简而言之，风险得分为 1 表示出现问题时没有后果的动作，风险得分为 10 表示可能造成重大伤害的动作。我们以相同的规模对自主权进行评分，其中低自主权意味着智能体似乎遵循明确的人类指令，而高自主权意味着它独立运行。¹³ 然后我们将类似的动作分组到集群中，并计算每个集群的平均风险和自主权得分。

表 2 提供了处于风险和自主权极端的集群示例。

高风险或高自主权的工具使用集群

表 2. 具有较高平均风险或较高平均自主权的集群。基于我们公共 API 中 998,481 次随机工具调用的样本。

鉴于我们对这些智能体的可见性有限，这些动作有可能是模拟的（例如，我们没有办法确定 Claude 订购的金融交易是否实际执行，我们认为许多"数据窃取"是评估）。虽然这些较高风险的动作在总流量中所占比例很少，但单个错误的后果仍然可能是重大的。

我们发现，80% 的工具调用来自似乎至少有一种保障措施的智能体（如受限权限或人类批准要求），73% 似乎在某种程度上有人类参与循环，只有 0.8% 的动作似乎是不可逆的（如向客户发送电子邮件）。¹⁴

为了可视化所有集群的风险和自主权的联合分布，我们按每个集群在两个维度上的平均得分绘制每个集群。图 5 中的每个点对应于相关动作的集群，按其平均风险和自主权定位。

图 5. 按任务集群划分的 Claude 估计平均风险和自主权。右上角象限——较高自主权、较高风险——人口稀少但不是空的。数据反映了通过我们的公共 API 进行的工具调用。这些是 Claude 在单个工具调用级别生成的分类，并尽可能根据内部数据进行验证。我们在附录中描述了完整的方法。未达到我们聚合最小值的集群（由于唯一工具调用或客户不足）被排除在外。基于我们公共 API 中 998,481 次工具调用的样本。

我们公共 API 上的绝大多数动作都是低风险的。但是，虽然大多数智能体部署相对良性，但我们在风险和自主权的前沿看到了许多新颖的用途。¹⁵ 风险最高的集群——同样，我们预计其中许多是评估——往往涉及敏感的安全相关动作、金融交易和医疗信息。虽然风险集中在规模的低端，但自主权的变化更广泛。在低端（自主权得分 3-4），我们看到智能体为人类完成小型、定义明确的任务，如餐厅预订或对代码进行小的调整。在高端（自主权得分 6 以上），我们看到智能体向数据科学竞赛提交机器学习模型或分类客户服务请求。

我们还预计，在风险和自主权极端情况下运行的智能体将变得越来越普遍。今天，智能体集中在一个行业：软件工程占我们公共 API 工具调用的近 50%（图 6）。除了编码之外，我们在商业智能、客户服务、销售、金融和电子商务中看到了许多较小的应用，但没有一个占流量的几个百分点以上。随着智能体扩展到这些领域，其中许多领域的风险比修复错误更高，我们预计风险和自主权的前沿将扩大。

图 6. 按领域划分的工具调用分布。软件工程占工具调用的近 50%。数据反映了通过我们的公共 API 进行的工具调用。所有类别的 95% 置信区间 < 0.5%，n = 998,481。

这些模式表明我们正处于智能体采用的早期阶段。软件工程师是第一个大规模构建和使用智能体工具的人，图 6 表明其他行业也开始尝试智能体。¹⁶ 我们的方法允许我们监控这些模式如何随着时间的推移而演变。值得注意的是，我们可以监控使用是否倾向于转向更自主和更具风险的任务。

虽然我们的头条数据令人欣慰——大多数智能体动作都是低风险且可逆的，人类通常参与其中——但这些平均值可能会掩盖前沿的部署。采用集中在软件工程，加上在新领域的日益增长的实验，表明风险和自主权的前沿将扩大。我们在本文末尾的建议中讨论了这对模型开发者、产品开发者和政策制定者意味着什么。

局限性

这项研究只是一个开始。我们只提供了智能体活动的部分视图，我们希望坦诚地说明我们的数据能告诉我们什么，不能告诉我们什么：

• 我们只能分析来自单一模型提供商的流量：Anthropic。基于其他模型构建的智能体可能表现出不同的采用模式、风险概况和互动动态。
• 我们的两个数据源提供了互补但不完整的视图。公共 API 流量让我们看到了数千个部署的广度，但我们只能孤立地分析单个工具调用，而不是完整的智能体会话。Claude Code 给我们提供了完整的会话，但只针对绝大多数用于软件工程的单一产品。我们许多最强的发现都基于 Claude Code 的数据，可能无法推广到其他领域或产品。
• 我们的分类由 Claude 生成。我们为每个维度提供了一个退出类别（例如，"不可推断"、"其他"），并尽可能根据内部数据进行验证（更多详情请参见我们的附录），但由于隐私限制，我们无法手动检查基础数据。一些保障措施或监督机制也可能存在于我们可以观察到的背景之外。
• 该分析反映了特定的时间窗口（2025 年末到 2026 年初）。智能体的格局正在迅速变化，随着能力的增长和采用的演变，模式可能会发生变化。我们计划随着时间的推移扩展这项分析。
• 我们的公共 API 样本是在单个工具调用级别抽取的，这意味着涉及许多顺序工具调用的部署（如具有重复文件编辑的软件工程工作流）相对于用更少动作完成目标的部署被过度代表。这种抽样方法反映了智能体活动的数量，但不一定反映智能体部署或使用的分布。
• 我们研究了 Claude 在我们公共 API 上使用的工具以及这些动作周围的背景，但我们对客户在我们公共 API 之上构建的更广泛系统的可见性有限。一个在 API 级别看起来自主运行的智能体可能在下游有我们无法观察到的人工审查。特别是，我们的风险、自主权和人类参与分类反映了 Claude 从单个工具调用的背景中可以推断出的内容，并没有区分生产中采取的行动和作为评估或红队练习一部分采取的行动。几个最高风险的集群似乎是安全评估，这凸显了我们对每个行动周围更广泛背景的可见性有限。

展望未来

我们正处于智能体采用的早期阶段，但自主性正在增加，更高风险的部署正在出现，特别是随着像 Cowork 这样的产品使智能体更容易访问。下面，我们为模型开发者、产品开发者和政策制定者提供建议。鉴于我们才刚刚开始在现实中测量智能体行为，我们避免提出强有力的规定，而是强调未来工作的领域。

模型和产品开发者应投资于部署后监控。 部署后监控对于理解智能体的实际使用方式至关重要。部署前评估测试智能体在受控环境中的能力，但我们的许多发现仅凭部署前测试是无法观察到的。除了理解模型的能力外，我们还必须理解人们在实践中如何与智能体互动。我们在这里报告的数据之所以存在，是因为我们_选择_构建基础设施来收集它。但还有更多工作要做。我们没有可靠的方法将对我们公共 API 的独立请求链接成连贯的智能体会话，这限制了我们对 Claude Code 等第一方产品之外的智能体行为的了解。以隐私保护的方式开发这些方法是跨行业研究和合作的重要领域。

模型开发者应该考虑训练模型识别自己的不确定性。 训练模型识别自己的不确定性并主动向人类提出问题是一种重要的安全属性，它补充了外部保障措施，如人类批准流程和访问限制。我们训练 Claude 这样做（我们的分析表明，Claude Code 提出问题的频率比人类中断它的频率更高），我们鼓励其他模型开发者也这样做。

产品开发者应该为用户监督进行设计。 对智能体的有效监督不仅仅是让人类参与批准链。我们发现，随着用户获得使用智能体的经验，他们倾向于从批准单个动作转向监控智能体的行为并在需要时进行干预。例如，在 Claude Code 中，经验丰富的用户自动批准更多，但也中断更多。我们在公共 API 上看到了相关模式，随着目标复杂性的增加，人类参与似乎在减少。产品开发者应该投资于工具，使用户能够可信地了解智能体正在做什么，以及简单的干预机制，允许他们在出现问题时重定向智能体。这是我们继续为 Claude Code 投资的东西（例如，通过实时控制和 OpenTelemetry），我们鼓励其他产品开发者也这样做。

现在强制特定的互动模式还为时过早。 我们有信心提供指导的一个领域是_不要_强制什么。我们的发现表明，经验丰富的用户从批准单个智能体动作转向监控和在需要时进行干预。规定特定互动模式的监督要求，例如要求人类批准每个动作，会产生摩擦，而不一定产生安全效益。随着智能体和智能体测量科学的成熟，重点应该放在人类是否能够有效监控和干预，而不是要求特定形式的参与。

这项研究的一个核心教训是，智能体在实践中行使的自主权是由模型、用户和产品共同构建的。Claude 在不确定时通过停下来提问来限制自己的独立性。用户在与模型合作时建立信任，并相应地调整他们的监督策略。我们在任何部署中观察到的都是这三种力量的共同作用，这就是为什么仅凭部署前评估无法完全表征它的原因。理解智能体的实际行为需要在现实世界中测量它们，而这样做的基础设施仍处于萌芽阶段。

作者

Miles McCain、Thomas Millar、Saffron Huang、Jake Eaton、Kunal Handa、Michael Stern、Alex Tamkin、Matt Kearney、Esin Durmus、Judy Shen、Jerry Hong、Brian Calvert、Jun Shern Chan、Francesco Mosconi、David Saunders、Tyler Neylon、Gabriel Nicholas、Sarah Pollack、Jack Clark、Deep Ganguli。

Bibtex

如果您想引用这篇文章，可以使用以下 Bibtex 键：

@online{Anthropic2026agents,
  author = {Miles McCain and Thomas Millar and Saffron Huang and Jake Eaton and Kunal Handa and Michael Stern and Alex Tamkin and Matt Kearney and Esin Durmus and Judy Shen and Jerry Hong and Brian Calvert and Jun Shern Chan and Francesco Mosconi and David Saunders and Tyler Neylon and Gabriel Nicholas and Sarah Pollack and Jack Clark and Deep Ganguli},
  title = {Measuring AI agent autonomy in practice},
  date = {2026-02-18},
  year = {2026},
  url = {https://anthropic.com/research/measuring-agent-autonomy},
}

附录

我们在本文的 PDF 附录中提供了更多详细信息。

脚注

1\. 我们的定义与 Russell 和 Norvig（1995）兼容，他们将智能体定义为"任何可以被视为通过传感器感知其环境并通过效应器作用于该环境的事物。"我们的定义也与 Simon Willison 的定义兼容，他写道，智能体是一个"在循环中运行工具以实现目标"的系统。

虽然完整的文献综述超出了本文的范围，但我们发现以下工作有助于构建我们的思维。Kasirzadeh 和 Gabriel（2025）提出了一个四维框架，用于从自主性、效能、目标复杂性和通用性四个方面表征 AI 智能体，构建了映射不同类别系统治理挑战的"智能体配置文件"。Morris 等人（2024）基于性能和通用性提出了 AGI 的级别，将自主性视为可分离的部署选择。Feng、McDonald 和 Zhang（2025）基于用户角色定义了五个级别的自主性，从操作员到观察者。Shavit 等人（2023）提出了治理智能体系统的实践，而 Mitchell 等人（2025）认为不应该开发完全自主的智能体，因为风险与自主性成正比。Chan 等人（2023）主张在广泛部署之前预测智能体系统的危害，强调奖励黑客、权力集中和集体决策被侵蚀等风险。Chan 等人（2024）评估了智能体标识符、实时监控和活动日志如何增加对 AI 智能体的可见性。

在实证方面，Kapoor 等人（2024）批评了智能体基准测试忽略了成本和可重复性；Pan 等人（2025）调查了从业者，发现生产智能体往往是简单的且由人类监督；Yang 等人（2025）分析了 Perplexity 使用数据，发现生产力和学习任务占主导地位；Sarkar（2025）发现经验丰富的开发者更有可能接受智能体生成的代码。在 Anthropic，我们还研究了专业人士如何将 AI 融入他们的工作，包括内部和外部。我们的工作通过使用我们的 API 和 Claude Code 上的第一方数据分析部署模式来补充这些努力，使我们能够看到外部难以观察到的自主性、保障措施和风险。

2\. 因为我们将智能体描述为使用工具的 AI 系统，所以我们可以将单个工具调用分析为智能体行为的构建块。为了了解智能体在世界上做什么，我们研究它们使用的工具以及这些动作的背景（例如动作时的系统提示和对话历史）。

3\. 这些结果反映了 Claude 在编程相关任务上的性能，不一定转化为在其他领域的性能。

4\. 在本文中，我们非正式地使用"自主性"来指代智能体独立于人类指导和监督运行的程度。具有最小自主性的智能体完全执行人类明确要求的内容；具有高度自主性的智能体自己决定做什么和如何做，几乎没有或没有人类参与。自主性不是模型或系统的固定属性，而是部署的新兴特征，由模型的行为、用户的监督策略和产品的设计塑造。我们没有尝试精确的正式定义；有关我们如何在实践中操作和衡量自主性的详细信息，请参见附录。

5\. 此外，以不同方式部署的同一模型可以以不同的速度生成输出。例如，我们最近为 Opus 4.6 发布了快速模式，其生成输出的速度是普通 Opus 的 2.5 倍。

6\. 有关其他百分位的轮次持续时间，请参见附录。

7\. 具体来说，我们使用 Claude 将每个内部 Claude Code 会话分为四个复杂度类别，并确定任务是否成功。在这里，我们报告了最困难类别任务的成功率。

8\. METR 的五小时数字是任务难度的衡量标准（人类完成任务需要多长时间），而我们的测量反映了实际经过的时间，这受到模型速度和用户计算环境等因素的影响。我们没有尝试跨这些指标进行推理，我们包含此比较是为了向可能熟悉 METR 发现的读者解释为什么我们在这里报告的数字要低得多。

9\. 这些模式来自交互式 Claude Code 会话，绝大多数反映了软件工程。软件异常适合监督，因为输出可以测试、轻松比较和在发布前审查。在验证智能体输出需要与产生输出相同专业知识的领域，这种转变可能会更慢或采取不同的形式。不断上升的中断率也可能反映出经验丰富的用户完成了更具挑战性的任务，这自然需要更多的人工输入。最后，Claude Code 的默认设置推动新用户采用基于批准的监督（因为默认情况下动作不是自动批准的），所以我们观察到的一些转变可能反映了 Claude Code 的产品设计。

10\. 复杂性和人类参与都是通过让 Claude 在完整背景下分析每个工具调用（包括系统提示和对话历史）来估计的。完整的分类提示在附录中可用。定义人类参与特别困难，因为许多转录本包含来自人类的内容，即使该人类没有积极引导对话（例如，用户消息被审核或分析）。在我们的手动验证中，Claude 在将工具调用分类为没有人类参与时几乎总是正确的，但它有时会识别出不存在的人类参与。因此，这些估计应被解释为人类参与的上限。

11\. 在某种意义上，停下来问用户问题本身就是一种能动性。我们使用"限制自己的自主权"来表示 Claude 选择在本可以继续独立运行时寻求人类的指导。

12\. 这些集群是通过让 Claude 分析每次中断或暂停以及周围的会话上下文，然后将相关原因分组在一起来生成的。我们手动合并了一些密切相关的集群并编辑了它们的名称以保持清晰。显示的集群不是详尽的。

13\. 我们将这些分数视为比较指标，而不是精确的测量值。我们没有为每个级别定义严格的标准，而是依靠 Claude 对每个工具调用周围背景的一般判断，这允许分类捕捉我们可能没有预料到的考虑因素。权衡是，分数对于相互比较动作比绝对解释任何单个分数更有意义。有关完整提示，请参见附录。

14\. 有关我们如何验证这些数字以及我们的精确定义的更多信息，请参见附录。特别是，我们发现 Claude 经常高估人类参与，因此我们预计 80% 是具有直接人类监督的工具调用数量的上限。

15\. 我们的系统还自动排除未达到我们聚合最小值的集群，这意味着只有少数客户使用 Claude 执行的任务不会在此分析中浮现。

16\. 软件工程的采用曲线是否会在其他领域重现是一个悬而未决的问题。软件相对容易测试和审查——您可以运行代码并查看它是否有效——这使得更容易信任智能体并发现其错误。在法律、医学或金融等领域，验证智能体的输出可能需要大量努力，这可能会减缓信任的发展。

相关内容

加拿大如何使用 Claude：来自 Anthropic 经济指数的发现

阅读更多

Claude 在模型和语言中的价值观

阅读更多

Claude 扮演机器人

在 Fetch 项目中，我们研究了人类如何使用模型让机器人执行复杂任务。现在，我们在模拟中对各种不同的机器人任务研究了许多模型，看看模型在控制机器人本身方面有多出色。 阅读更多