- 我们构建了一个 AI 智能体，作为特定领域的次级专家，使深厚的专业知识能够被轻易获取和保存，供组织内的任何人访问、共享和进一步拓展。

- 结构化且可审计的知识架构将智能体“所知道的内容”与其“推理的方式”分离开来。

- 随后，一个自我改进循环会在无需重新训练模型的情况下，将专家反馈编译为经过验证且通过回归测试的更新。

- 这两个图层共同将一次性的专家纠错转化为永久的、不断复利的制度记忆；该模式旨在泛化到其他由可检索文本而非模型权重主导的领域。

- 该系统正在为 Meta 的领域业务专家（SME）节省大量时间，使他们能够更加专注于其知识最能发挥价值的工作。

许多大型组织在对待专业知识时都面临着同样的问题。虽然部分知识以模型、剧本、检查清单和框架的形式被记录了下来，但最宝贵的专业知识却存在于人们的大脑中，很少能在任何持久的地方被捕获。例如在合规领域，数百次产品审查中可能会出现同类型的问题，专家的评估需要数天的手动研究，而评估之间的不一致则会带来真正的组织风险。

专家花在回答日常例行问题上的时间，往往比花在真正新颖且模棱两可、最需要其判断力的工作上的时间还要多，这种情况并不少见。我们需要能够捕获组织专家如何进行推理，并将这些知识提供给所有需要之人的系统，从而让专业知识更容易被共享、传承和保存。为了解决这一挑战，我们着手将制度智慧代码化为一个针对特定合规领域的 AI 智能体。该智能体结合了一个扮演组织“第二大脑”角色的知识系统、一个镜像反映领域专家真实思考方式的推理层，以及一个能够将专家的努力永久复利的自动化改进流水线。这些模式可以泛化到任何拥有深厚专业知识的企业领域，无论是金融、安全还是工程。

架构一览

现成的 LLM 提供了坚实的基础，但它们往往需要更深层次的组织上下文，才能在专业领域充分发挥作用。如果没有这种锚定，通用模型的价值将非常有限，因为它们无法区分组织“可以做什么”（通用信息的总结）与“应该考虑做什么”（基于历史立场、公司方向、业务上下文等）。在关键高风险领域，填补这一差距需要向模型提供组织自身的知识和优先级，使其分析能够反映组织真正的推理方式。

我们设计的系统包含四个图层，每个图层解决一个独特的问题：

这些图层相互依赖。知识系统的文件结构使自动化编辑成为可能；推理层的明确程序使失败归因变得可追踪；评估框架对每一次变更进行把关；而改进循环则反哺知识层和推理层。移除其中任何一个图层，其他图层都会随之退化。

构建组织级第二大脑

作为专家工作的副产品，大型组织可以积累数以千计的文档。将这些文档视为组织知识固然很诱人，但真正的知识是隐性的：专家如何推理、他们优先考虑什么，以及他们如何解决模棱两可的问题。一个在推理阶段检索文档块的智能体必须在每次运行时从原始素材中重新推导这种推理，这不仅缓慢、容易出错，而且缺乏一致性。

我们提前将这些隐性知识显性化。一个长期运行的离线进程对源文档进行推理，并将它们精炼为结构化的知识文件——即关于组织如何解释其领域的精选陈述，并将约束条件、边界和路由含义转化为机器可读的形式。

最重要的是，这些知识随后构成了一个反馈循环的基础，使智能体能够学习并实施来自人类专家的反馈，而无需对底层模型进行重新训练。

业界已经趋同于类似的理念。Andrej Karpathy 的 LLM Wiki 将智能体知识构建为可导航的文件图，而 Google 的 Open Knowledge Format 为跨智能体互操作性对此进行了标准化。共同的洞察在于：知识应该被预先提取、明确结构化并逐步披露，而不是在每次查询时重新推导。我们将这些原则扩展到了一个对引用保真度和制度一致性绝不妥协的系统中，将 200 多个文件组织进严格的分类体系中：

- 立场文件（Position files）记录权威的组织立场：组织决定如何解释给定的领域问题，以及其约束条件、边界条件和可由机器执行的路由含义，告诉推理层何时适用该立场。

- 分类与词汇文件（Taxonomy and vocabulary files）作为组织用来描述其领域的术语的权威词汇表，例如实体类型、活动类别和分类层级。每一项都被维护为唯一的单一事实来源，以便智能体和组织使用一致的语言。

- 路由索引（Routing indexes）将输入特征映射到相关的立场和程序，在不单依赖嵌入相似度的情况下确定适用哪些文件。这使得检索具有确定性和可审计性。

- 网关文件（Gateway files）定义了智能体在进入分析领域之前必须通过的门槛测试，防止其在不属于专门知识的地方应用该知识。

每个文件都在 YAML 前置元数据中声明其依赖项（depends_on）和使用者（referenced_by），形成一个双向依赖图。当一个文件发生变化时，你可以精确追踪到还有哪些内容可能会受到影响，这在自我改进循环提出自动化编辑建议时至关重要。

知识系统示意图：文件被组织为一个可导航的文件系统（左），每个文件的 YAML 前置元数据（右）声明了其适用时机（触发场景）及其依赖项和使用者，形成一个智能体可以轻松遍历和维护的双向依赖图。

按密度和使用频率组织知识

一个关键的架构决策在于如何在精选的 wiki 和补充检索（RAG）之间划分知识。我们根据信息密度和预期使用频率来进行切分。

高密度、频繁引用的来源放入 wiki 中：这些是捕获组织如何推理的精炼文件，例如立场、决策框架、边界示例和战略解释。智能体几乎在每一轮交互中都会查阅这些内容。由于它们编码了组织不断演进的思想，因此需要保持最新状态，而 wiki 结构使它们易于更新、版本控制和验证。

稀疏的、视情况相关的来源则通过语义或词法检索（RAG）提供：这些是在适用时非常重要、但在大多数运行中不需要详细了解的文档，例如详细参考资料、单个产品规格、历史决策记录和特定领域的外部知识。将所有这些内容加载到 wiki 中会导致系统膨胀并分散注意力。

结果是，智能体的核心推理始终基于最精炼、最新颖的组织知识，同时在场景需要时仍能获取支持性证据。这种结合产生了一个组织级第二大脑，它编码了组织如何解释和应用信息，而不仅仅是去哪里寻找信息。

通过可组合配方实现专家推理

单靠知识是不够的。领域专家不仅是回忆事实，他们还遵循结构化的方法论：财务分析师按部就班地梳理估值模型，安全工程师遵循威胁建模程序。挑战在于以 LLM 能够可靠执行的形式捕获这些方法论。

我们通过被称为“配方”（recipes）的可组合程序来解决这个问题。知识文件是声明式的，而配方则是指令式的。每个配方都规定了一个多步骤的分析工作流，指定首先检查什么、每一步要加载什么知识、遵循什么决策程序，以及什么构成了一份完整的分析。

关键的设计选择是将智能体“知道什么”与其“如何推理”分离开来。配方引用知识文件，但本身不包含领域事实；知识文件阐述立场，但不上报程序。这意味着：

- 添加一个组织立场意味着添加一个知识文件并更新路由索引。配方无需修改。

- 修复智能体方法论中的缺陷意味着编辑一个配方。知识文件无需修改。

- 失败可以干净地归因于某一个图层。是知识错了，还是程序错了？

配方组合成流水线，就像主厨针对晚宴的主配方会下发给每个组件（酱汁、蛋白质、装饰）的子配方，而其自身并不包含那些细节一样。我们的顶层路由配方会检查输入，并选择调用哪些下游配方，每个下游配方处理一个分析阶段。

这也是实现渐进式披露的原因。每个配方步骤仅包含与该阶段相关的指令和知识，而不是预先加载覆盖所有可能场景的单体指令集。早期版本使用单个扁平的指令文件，并通过语义检索加载所有来源，在每次运行时将大量相关性参差不齐的文件拉入上下文窗口。在重构为配方驱动的阶段后，每次查询仅触及一小部分有针对性的子集，使每轮消耗的 token 减少了约 80%。上下文窗口是有限的，且注意力会随着容量的增加而退化，因此在恰当的时间提供恰当的指令可以直接提升推理质量。

保持人类掌控

人类专家在整个过程中保持对该系统的控制。智能体加速并结构化他们的工作；它不会取代他们的判断，也不会取代他们对结果的权威。

我们通过两种机制来实现这一点：

检查点（Checkpoints）是分析中定义的节点，智能体在继续推进之前在此处呈现其中间推理供专家审查，专家可以确认、纠正或重定向。

升级机制（Escalations）在智能体遇到真正的模棱两可时触发，无论这种不确定性来自未明确说明的输入，还是支持不止一种合理解读的证据。智能体不会强行做出决策，而是将问题交由专家处理，专家的选择将决定分析的方向。

检查点和升级机制同时服务于三个目的：

- 质量与方向控制：专家在错误向下游传递并累积之前捕获它们，并使分析保持在他们认为最相关的轨道上。

- 训练信号：每一次纠错和每一次升级都会成为自我改进循环的输入。

- 信任校准：专家通过观察智能体的推理过程（而非仅仅是最终输出），以及看到它标记不确定性（而非掩盖不确定性），逐步建立信任。

决策越重要，这一点就越关键，这就是为什么我们建议在合规、金融风险评估、安全审查和工程安全等领域默认保持人机回环（Human-in-the-loop）。

自我改进飞轮

我们认为自我改进飞轮是该系统中最具特色的部分。尽管结构化知识系统和可组合配方打造出了一个人类与智能体均可读、可测试且模块化的系统，但大量相互依赖的文件使得人工维护无法实现规模化。当领域专家向智能体提供反馈时，该反馈必须转化为精准的文件编辑。这一过程可能需要数周时间，因为它需要理解整个依赖图，验证没有其他内容被破坏，并确认修复确实有效。

从 RAG 记忆系统到模型权重知识编辑，已有大量工作致力于解决智能体如何存储、检索和更新知识。然而，随着基于文档的制度知识库的扩展以及专家立场的演变，如何保持其准确性所获得的关注要少得多。能够自动草拟自身修复方案的智能体越来越普遍；但我们尚未看到在无需模型重新训练的情况下，将这种级别的验证严谨度应用于结构化知识库。

我们将这种维护视为一个编译问题并将其自动化。每一次专家纠错都会经历四个阶段：

- 将专家反馈诊断为包含根本原因的可操作问题。

- 将问题编译为经过验证的最小化编辑。

- 验证修复有效且无回归问题。

- 由领域专家对其进行审查。

一旦循环完成，刚修复的问题就会被补充到回归测试套件中，以便未来的更新能够保留这一正确行为。

自我改进循环：专家纠错被诊断至根本原因，编译为经过验证的最小化编辑，并在经过审查和落地之前根据重放测试和回归测试进行评估。随后，每次修复都会被并回回归套件中，从而使收益成为永久性的。

诊断：将每次纠错归因于根本原因

原始的专家反馈来自于领域 SME 与智能体交互并提供纠错的对话轨迹。诊断阶段从这些对话中提取结构化的信号。

我们的第一种方法是按对话形式对反馈进行分类。如果专家提供了信息，那必定是知识缺失；如果他们重定向了智能体，那必定是程序问题。这种启发式方法失败了，因为对话形式并不能很好地代表根本原因。专家纠正一个结论，可能是在揭示知识缺失、配方缺陷，或是真正的模棱两可。

行之有效的方法是将提取与分类分离开来。首先，从专家那里提取每一个实质性信号，同时结合智能体的完整知识清单（加载的每个文件、何时加载以及如何使用）。其次，阅读实际的知识文件并应用单一归因测试：智能体能否从其源材料中得出正确的结论？

- 如果素材包含正确答案但智能体仍然出错：配方问题。

- 如果素材未包含正确答案：知识缺失。

- 如果专家本身对正确答案存在分歧：模棱两可，标记供人类讨论。

编译：精密的多智能体编辑

编译器将每个诊断出的问题转化为最小化的文件编辑。子智能体并行分析影响，审查交叉引用、与现有立场的冲突、token 预算影响、测试覆盖率以及重复风险。

两项设计选择使这一过程值得信赖：

独立的对抗性审查。一个单独的智能体在一个全新的上下文中运行，对改进原理一无所知，仅接收对知识库拟议的差异（diffs）。它的任务是发现引入矛盾、破坏边缘情况或削弱已有立场等问题。因为它与提出修改的智能体不共享上下文，所以不会继承它们的盲区。

确定性的结构校验。Linter 通过程序化方式捕获问题，如悬空的交叉引用、违反文件大小预算、标识符冲突以及循环依赖。这一层不是概率性的，只有通过或失败。

评估：证明修复有效

每一个拟议的变更都会经历两阶段的验证：

针对性重放（Targeted replay）在触发反馈的原始场景上运行智能体。智能体并不知道自己正在接受测试。一个独立的裁判智能体在不知道修改了什么的情况下，根据原始专家反馈对新的输出进行评估。这种刻意设计的盲审阻止了确认偏误。如果针对性重放失败，将重试编译。

回归测试（Regression testing）为该领域运行多个基准测试，这些基准测试通常是由问答对组成的结构化测试套件。对于可能存在多个正确答案的分析领域，独立的 LLM 裁判会根据特定标准为每个测试用例判定通过/失败。智能体在独立的会话中针对基准问题并行运行，并检测性能是否存在回归。如果回归测试失败，将使用更新后的提示词重试编译，该提示词描述了智能体在哪里发生了回归，以及原始问题和尝试过的修复方案。

落地与丰富：产生复利回报

该流水线的输出是一个附带完整审计追踪的 Pull Request（diff）。人类专家审查的是一个经过证明有效的修复，而不是去调试原始故障。一旦获得批准并落地（知识文件或配方完成更新），原始的失败场景及其经过验证的正确答案就会自动添加到回归测试套件中。这意味着每次修复都会永久提高门槛，未来对知识系统的改变必须保留刚刚纠正的行为。

结果

经过历时六周的三个开发迭代（sprints），该系统达到了以下成果：

- 领域 SME 评价智能体的输出几乎始终有用，相比早期版本中输出频繁需要大量重做的情况有了显著改善。

- 单项评估时间从数天缩短至数分钟。

- 自动化自我改进生成经过验证的知识编辑，其速率达到了此前需要整个工程迭代才能完成的水平。

- 在多个改进周期中实现零回归，每次修复都自动强化了回归测试套件。

- 领域专家一致反馈智能体承担了绝大部分分析工作，使他们能够专注于真正需要人类判断的模棱两可案例。

应用这一架构

我们为其构建该系统的特定领域需要将数十个来源（包括内部立场和外部材料）综合为风险加权的评估。但该架构是独立于领域的。它适用于以下任何场景：

- 专业知识作为隐性知识存在于专家的脑海中。

- 评估之间的一致性至关重要。

- 工作量超过了现有的专家能力范围。

- 现成的 LLM 产生的分析不够充分。

适合这种模式的具体领域包括合规监管、协议遵循、金融风险评估、安全审查、工程标准合规和采购评估。共同的主线是：组织需要拥有真正制度专业知识的 AI 系统，而不仅仅是通用知识。

采用这种架构的要求包括：

- 一个具有明确文件边界、交叉引用和依赖图的结构化知识系统（该领域的组织级第二大脑）。

- 一个将领域知识与分析方法论（配方）分离开来的程序层。

- 一个随着每个改进周期不断增长的自动化评估套件。

- 根据领域的风险承受能力进行校准的人机回环（Human-in-the-loop）检查点。

更深层次的原则非常直接：将复杂性保持在人类和智能体均可读的文本文件中，而不是微调后的模型权重中。每一次改进都是一次文本编辑，领域专家可以在 30 秒内进行审查。每一次变更都是经过版本控制的、可进行差异对比的且可逆的。编译流水线固然复杂，但其输出始终保持透明。

我们的目标是建立一个能够让专家的努力实现永久复利的系统。专家的每一次交互都会使系统变得更好。每一次纠错都会作为经过验证的改进持久保留下来。组织的集体知识不再被困于个体身上，而是开始以一致且具备规模效益的方式提供给每一个需要它的人。