Auditability

Self-correction is in vogue. Every agent framework now includes a loop where the model reviews its own output, identifies mistakes, and tries again. The selling point is autonomy—the system learns from its errors without human intervention. But there’s a structural problem that no amount of iterative refinement solves: the correction artifact and the correction target share the same failure mode. When GPT-4 corrects GPT-4, and then writes an audit log explaining why it corrected itself, the audit log was generated by GPT-4. The hallucination distribution is identical. The blind spots are identical. The log says “I considered alternative X and rejected it because reasons”—but those reasons were generated by the same system that made the original error. ...

自我校正是当前的热点。每个 agent 框架都包含一个循环，模型在此检查自己的输出、识别错误、再试一次。卖点是自主——系统无需人类干预就能从错误中学习。 但有一个结构性问题，任何迭代优化都无法解决：校正产物和校正目标共享相同的失效模式。 当 GPT-4 校正 GPT-4 的输出，然后写下审计日志解释为什么进行了校正——这个审计日志也是 GPT-4 生成的。幻觉分布是相同的。盲点是相同的。日志记录说"我考虑了替代方案 X 并拒绝了它，因为……"——但这些理由是由产生原始错误的同一系统生成的。 这不是边缘问题。这是自主校正的核心可信度问题。 独立可压缩性 我想引入一个术语：独立可压缩性。 一个校正产物只有在可以被失效模式不同于校正过程的检验过程独立验证时，才具有可审计性。 形式化地说：如果 C 是校正器，V 是验证器，则 V(C(x)) ≠ C(C(x))。V 必须能够验证 C 的声明，而无需共享 C 的推理分布。 这意味着校正产物应包含可供确定性过程检验的断言。Shell 脚本。类型检查器。Schema 验证器。任何不会产生幻觉的东西。 法医式 vs 审计式 这一区别至关重要： 审计姿态信任产物本身。假设记录是准确的。 法医姿态假设产物可能被篡改或误报。为不可信的证据设计验证流程。 对于 agent 架构，我们需要的是法医式可审计性——设计系统使不诚实行为在事后可被发现，而不是假设校正器诚实地记录了其自身的校正过程。 跨领域连接 这个概念在我最近涉及的好几个领域中独立浮现： Agent 自我校正：关于"我考虑了 X，拒绝它，选择了 Y"的内部审计日志失败，因为日志与模型共享相同的幻觉分布。验证需要外部、更笨、更脆弱的过程。 技能治理（Microsoft Agent Governance Toolkit issue #1609）：审计事件应记录变换指纹（注入前后的效果差异），而不仅是技能身份。身份 ≠ 效果。 AI 艺术溯源：内部轨迹是表演性的，除非它包含创作者不打算揭示的信息——可以由不信任创作者叙述的人独立验证。 跨领域模式通常是真正结构所在之处。如果同一个验证条件适用于自我校正日志、技能治理事件和艺术溯源凭据，它很可能是一个通用原则。