使用 Codex 构建自我改进的税务智能体 | OpenAI

来源: https://openai.com/index/building-self-improving-tax-agents-with-codex/ 抓取时间: 2026-07-21 16:27:18

2026 年 5 月 27 日工程

使用 Codex 构建自我改进的税务智能体

技术团队成员：Aravind Srinivasan & Samay Shamdasani（Thrive Holdings），Arthur Fernandes Araujo & John de Wasseige（OpenAI）

现实世界的系统在生产中的表现与实验室中的不同，其故障方式在部署前难以预料。团队通常在发布后发现这些故障，然后花费数周时间检查边缘情况、调整提示，并将生产反馈转化为持久的产品改进。反馈循环是手动且缓慢的，只有当工程师推动时才会改进。但今天，通过精心设计的评估基础设施、直接接触从业者和现实环境，以及 Codex 的前沿智能体能力，您可以构建能够自我改进的智能体。

在本文中，我们将介绍我们如何使用 Codex 构建这种类型的智能体。在过去的六个月中，OpenAI 的前沿部署工程师和研究人员与 Thrive Holdings 的工程师合作，与 Crete 的 30 多家会计师事务所网络一起并为其构建 Tax AI，以帮助准备日益复杂的纳税申报单。Tax AI 不是依赖工程师来发现和修复每个故障，而是使用 Codex 将生产使用转化为结构化信号，从而推动自主改进。

Crete 从业者每个申报季节要准备数万份纳税申报单，这需要处理数百万份底层文件。对于中等到大型复杂度的申报，仅数据输入每份申报单可能需要八小时，通常涉及杂乱的数据源、上一年的文件以及手动提取和计算。他们向我们指出，税务准备是税务申报最繁忙时期的一个重大瓶颈。

为了解决这个问题，Tax AI 在本税务申报季处理了参与试点的 Crete 事务所的 7,000 份纳税申报单。该系统自动化了准备 1040 和 1041 纳税申报单的大部分耗时过程，但比效率提升更令人瞩目的是，该系统本身明显优于三个月前首次部署的版本。

可衡量的自我改进

在 Tax AI 中，从业者上传源文件以及任何客户特定的注释。然后 Tax AI 创建税务引擎提交，准备供审核。它为从业者节省了约三分之一的税务准备时间，以高达 97% 的准确度起草申报单，并将吞吐量提高了约 50%，为他们创造了更多与客户共度的时间。

我们可以通过了解 Tax AI 无需后续纠正即可完成申报的准确度来量化这种改进。我们通过检查达到 75%、90% 或 100% 正确字段完成率的申报比例来衡量准确度。在发布时，只有四分之一的申报达到 75% 的正确字段完成率，但在六周内，86% 的申报达到了该标准。该系统在 90% 和 100% 正确字段完成率水平上显示出更快的增长。这些阈值为我们提供了不同申报仍需要多少从业者跟进的实际视图。

早期，Tax AI 处理更简单的工作，如 W-2 和 1099。随着申报季的进行，它进入了更复杂的申报，包括 K-1、附表和更棘手的边缘情况。每一项新功能每份申报单节省的时间都比上一项多，因为它承担的任务更难，手动完成更耗时。我们今天继续看到持续的进展。

接下来，我们将介绍我们的团队如何通过三个关键支柱共同设计 Tax AI 实现自我改进：1）专家从业者反馈，2）生产追踪（从输入到最终输出的结构化历史），以及 3）基于定制评估的 Codex 驱动的迭代循环，以实现连续、更快的产品开发。我们希望我们的经验对其他领域的构建者有用，在这些领域中，从业者的专业知识对于塑造整个系统的质量和流经其中的数据至关重要。

随着 Tax AI 扩展到更复杂的申报，达到 75%、90% 和完整完成率的已评分申报比例在整个税务申报季中持续上升。

问题

随着我们深入税务准备的更困难部分（K-1、出租房地产附表以及必须跨多个源文件协调值的税务表单），很明显，真正的挑战是产品是否能够使复杂的生产故障变得可见、可理解和可操作。

在产品的早期阶段，大部分纠正是手动的。从业者可以纠正系统错误，但产品没有捕获完整的上下文：申报前更改的值可能反映真正的提取遗漏、映射问题、缺失的产品支持或预期的工作流程噪声。梳理这些案例仍然需要工程团队的跟进。工程师可以使用编码智能体，但系统尚未设计为在改进循环中有意义地使用 AI。我们没有信号来识别需要攀登的正确山丘。

我们的方法：三部分循环

这引导我们围绕三个支柱设计系统：

与从业者保持密切联系： 从事工作的人需要指导产品学习什么。他们的直觉和理解揭示了哪些错误很重要，并帮助告知工作流程的哪些部分值得下一步关注。
构建产品以便生产创建证据： 产品不仅要捕获输入和输出；它需要捕获从源材料到提取字段和来源，再到下游提交和专家纠正的完整路径。
创建 Codex 驱动的改进循环： 一旦生产问题可见且结构化，它们可以成为发现、定制评估和范围明确的工程任务。然后 Codex 可以帮助调查、提出更改、针对针对性和回归评估验证它们，并比纯手动迭代周期更快地推动产品向前发展。

下面的出租物业示例展示了该循环在实践中如何工作，引导您了解从业者纠正如何成为结构化发现，然后成为评估目标，最后成为 Codex 范围明确的工程任务。

出租物业示例

出租物业收入在个人纳税申报单的附表 E 中报告。从工程角度来看，提取它的任务描述简单但很难做好。系统必须读取杂乱的源材料（手写笔记、电子邮件、电子表格和其他客户文件），提取系统可以自信地映射到税务引擎的出租物业字段，并保留足够的证据，以便从业者可以批准或纠正结果。下面的简化示例展示了这些源文件和提取输出可能是什么样子。

出租物业源包被规范化为带引用的字段，然后这些字段被映射到下游税务引擎概念。

出租物业源包被规范化为带引用的字段，然后这些字段被映射到下游税务引擎概念。

1. 从业者纠正揭示失败

智能体预测值与已提交纳税申报单实际值之间的差异可能反映真正的提取遗漏，但也可能是从业者偏好、税务引擎中从上一年申报结转的值，或在申报工作流程其他地方引入或更改的值。从业者帮助我们辨别这些情况，以便我们可以确定哪些操作需要从业者纠正或阻止提交。

因为我们可以详细看到这些纠正，我们将审核过程从终端的失败后步骤转变为持续学习循环。我们设计了工作流程来将专家操作捕获为结构化数据。现在，每次干预都通过准确记录 Tax AI 提出的内容、从业者修改的内容以及最终进入已提交申报单的内容，来为产品的改进循环提供信息。

2. 产品追踪将纠正转化为评估

对于像出租物业这样的复杂工作流程，系统必须保留源文件和已提交申报单之间发生的事情。在该路径中，文档被组织、拆分和分类；出租物业字段被提取并带回源材料的引用；这些值被映射到税务引擎；从业者仍可能在申报前纠正它们。这些产品级别的追踪使得调查失败发生在哪里成为可能。要将从业者纠正转化为有用的评估目标，系统分三步处理它们：

捕获差异： 将 Tax AI 的输出与已提交的申报单进行比较，以生成字段级别的审核行，捕获预期值、预测值以及差异是否看起来可操作。
分组相关失败： 相似的审核行被分组，以将重复出现的产品失败与预期的工作流程噪声分开。例如，重复的从业者纠正可能显示 Tax AI 经常遗漏"公平出租天数"字段、错误处理"其他费用"，或混淆同一源包中的多个出租物业。
将重复模式转化为评估目标： 一旦经过审核和测量，重复出现的发现就成为 Codex 改进的明确评估目标。

出租物业审核行将重复出现的产品失败与预期噪声分开，然后将可操作的案例转化为评估目标，给 Codex 一个需要攀登的山丘。

出租物业审核行将重复出现的产品失败与预期噪声分开，然后将可操作的案例转化为评估目标，给 Codex 一个需要攀登的山丘。

3. 发现成为 Codex 需要攀登的山丘

第三个支柱是创建一个能够对这些新评估采取行动的工程循环。这就是 Codex 变得至关重要的地方。

假设我们的评估管道标记出 Tax AI 持续遗漏"公平出租天数"字段，而从业者可靠地填写它。因为这个发现已经被打包成一个有针对性的评估集，包含代表性的源包和预期输出，Codex 可以直接在产品支架内调查根本原因。

Codex 不是仅仅处理一个不合格的最终输出。它一起检查追踪、评估、仓库和技能：

调查管道： 检查源包、提取架构、映射器行为和代码路径，以确定问题是不支持的字段、遗漏的提取模式、源选择问题、映射器差距还是评分器问题。
实施有针对性的修复： 扩展提取架构、改进出租物业文档的源选择、更新税务引擎映射器，或者如果预期的工作流程噪声被算作失败，则优化评分器。
验证和提议： 重新运行有针对性的评估，运行更广泛的回归套件，并提出候选拉取请求供工程审核。
闭环： 将重复的从业者纠正转化为可衡量的工程任务。如果证据不明确或无法安全自动化，案例将路由回产品团队，而不是强制通过循环。

端到端自我改进循环：生产追踪揭示重复的字段级别纠正，这些纠正成为失败信号，Codex 可以与追踪、评估、仓库和技能一起检查。可操作的模式成为有界的评估和候选产品更改；不明确的案例路由回工程师审核。每个已交付的改进都为下一个周期创造新的生产证据。

如何使用 Codex 构建此循环

出租物业示例代表了更广泛的可重用模式：使用生产工件和追踪来改进智能体的能力。考虑到来自生产数据的已审核发现、源追踪、预期的税务引擎输出、相关代码示例和评估命令作为一组输入，Codex 可以在数周和数月内实质性地改进性能和准确性。这建立在我们关于线束工程和Symphony的工作中描述的原则之上，这些工作介绍了如何使任务对 Codex 清晰可理解，提供范围明确的上下文和工具，以及将验证和人工审核保持为环境的一部分。

该证据不会自动成为 Codex 任务。从业者纠正可能反映提取遗漏、映射问题、不支持的产品行为、税务判断或预期的工作流程噪声。只有在重复的差异经过审核并分组为可操作的发现后，系统才会将它们转化为具有明确成功条件的有界任务。

我们将此自动化应用于产品的有界层。该层执行提取并将源文档映射到税务工作流程。工程师仍然负责架构、产品决策和交付。从业者通过他们已经在做的工作指导改进循环：纠正提取的值、审核申报单和批准最终提交。

对于 Codex，结果不是模糊的警报，而是具有证据、可编辑产品界面和明确验证门的范围明确的工程任务。代表性出租物业任务的上下文可以总结如下：

/candidates/FIND-RENTAL-0042/
│
├── repo/                                                   [1]
│   └── branch: codex/fix-rental-0042
│       │
│       ├── AGENTS.md
│       │
│       ├── tasks/FIND-RENTAL-0042/
│       │   ├── task.yaml
│       │   ├── EXEC_PLAN.md
│       │   └── RESULTS.md
│       │
│       ├── app/tax-ai/rental-income/                          [2]
│       │   ├── agent.ts
│       │   ├── schema.ts
│       │   ├── provenance.ts
│       │   └── mapper.ts
│       │
│       ├── evals/                                          [3]
│       │   ├── datasets/fair-rental-days.yaml
│       │   ├── suites/fair-rental-days.yaml
│       │   ├── suites/rental-income-regression.yaml
│       │   └── graders/rental-income.yaml
│       │
│       ├── skills/                                         [4]
│       │   ├── eval-runner/
│       │   └── tax-field-docs/
│       │
│       └── docs/                                           [4]
│           ├── architecture/
│           └── task-environments/
│
└── scoped-tools/                                           [5]
    ├── production-trace
    ├── source-artifacts
    └── tax-engine-docs

有界的 Codex 任务环境将可写工作树 [1] 与只读生产上下文 [5] 分开。工作树包含 Codex 可以检查或修改的范围明确的产品界面 [2]、定义成功的针对性和回归评估 [3]，以及编码如何运行任务和尊重先前决策的可重用技能/文档 [4]。只读上下文提供生产追踪、源文档、Tax AI 预测、最终确定的申报单和税务引擎字段文档，因此 Codex 可以调查失败而不改变底层证据。

扩展到新领域

相同的循环适用于出租物业之外的领域。出租物业大约需要六周时间和大量的工程监督才能达到 90% 的精确度和召回率，但这项工作产生了可重用的抽象、审核工件、评估约定和实现模式，使得更容易支持类似复杂的附表，如附表 C 和附表 A。

Tax AI 证明了构建自我改进智能体的途径。从业者通过提供服务产生高价值的反馈信号。产品工作流程将这些信号保留为结构化证据。基于评估的工程系统在改进到达生产之前对其进行验证，而智能体驱动的循环使系统保持在持续的自我改进流中。

Thrive Holdings 的结构允许我们在特定行业中复制此环境。Holdings 既是所有者也是运营商，因此我们的联合工程团队能够直接与 Crete 等企业内部的从业者和生产数据合作，而不是作为供应商，而是作为合作伙伴。这意味着技术、产品和服务都在同一屋檐下，帮助我们更快地行动并构建卓越的产品。

一位去年在税务准备上花费了 180 小时的高级会计师今年只花费了 15 小时。她将部分时间用于打电话给她的每一位客户并引导他们完成申报单，这是一年前不可能实现的高接触服务水平。其余时间她用于接收新客户并扩展到新的服务产品。

我们的团队现在正在使用 Tax AI 的相同三部分设计作为蓝图，在 Thrive Holdings 的其他领域构建工作流程；会计工作流程如簿记和审计，以及运营工作流程如 IT 帮助台自动化。跨领域和行业，自我改进智能体的更广泛前景是成立的。最好的智能体由人们指导，学习随着时间的推移变得更有能力、更受信任和更有价值。

要了解更多关于参与此项目的 OpenAI 团队的信息，请联系我们。