四层智能体基础设施栈已经成为架构讨论中的固定图景。底层是身份。之上是协调。再上是信任。顶层是经济。这幅图景简洁直观,引导了一场有益的对话——讨论智能体需要什么才能参与彼此间的经济关系。
但它也是不完整的——你盯着它看越久,这种不完整就越发显著。这四层全部聚焦于智能体与智能体之间的关系。身份回答的是「这个智能体在和谁对话?」协调回答的是「智能体如何就做什么达成一致?」信任回答的是「智能体如何知道另一个智能体会兑现承诺?」经济回答的是「智能体如何交换价值?」每一层都以对手方是另一个智能体为前提。
但栈中没有建模第五种关系:智能体与人类——那些监督它们、向它们委派任务、与它们协作的人类——之间的关系。而那个关系里的信任问题,跟智能体之间的信任问题性质完全不同。
智能体与智能体之间的信任是静态的。它在协议边界上确立——签名验证通过、声誉分查询完毕、押金确认到位——然后持续到下一次交互。而人类对智能体的信任是动态的。它每分钟都在变,每项任务都在变,有时甚至每个回答都在变。它不依赖密码学证明,而是依赖某种更难用工程实现的东西:人类在每一刻对智能体是否可靠——此刻,对这件特定的事情——所做的实时判断。
这就是智能体基础设施栈的第五维度。我称之为人机信任接口。它需要当前栈根本无从表达的东西:智能体与人类之间的实时信心通信。
静态—动态鸿沟
四层栈将信任视为一种可以在协议启动时确定的属性。智能体出示一份可验证凭证,对手方智能体验证它。智能体查询声誉注册表,获取一个分数,决定是否交易。智能体检查质押合约,确认保证金到位,然后开始。在所有这些场景中,信任都是交互开始前预先计算好的输入——不是交互过程中会改变的东西。
这对智能体间关系来说完全合理。智能体在协议层面上是确定性系统。它们的密码学身份不会波动。它们的声誉分经过多笔交易缓慢更新。它们的质押保证金不会在交互中途变化。对对手方而言,智能体的可信度在单次交互的时间尺度上是稳定的。
人类的信任不是这样运作的。
人类对智能体的信任在持续更新中,由逐次响应中的信号不断驱动。智能体上一个回答是笃定还是犹豫?它做免责声明做得恰当还是过度?它看起来理解了问题的上下文还是遗漏了重要内容?它标出了不确定性还是若无其事地推进?这些信号累积成一个信任判断——它不是静态的,而是一个移动的靶心,每一次交换都在重新校准。
Marusich、Files、Bancilhon、Rawal 和 Raglin(2025年)来自美国陆军 DEVCOM 陆军研究实验室。他们关于人机联合决策中信任校准的研究,精确地描述了这个问题。他们观察到,在动态环境中,「人工智能系统的可信度可能剧烈波动,要求信任行为快速更新才能实现校准。」问题不在于人类不擅长信任。问题在于,他们需要用来校准信任的信号,恰恰没有被他们应该信任的那些系统传递出来。
完全聚焦于智能体间关系的四层栈,没有为此提供任何机制。它把信任当作一种在交互边界上确定的静态属性。但人机信任不是边界条件。它是一场持续进行的对话。
多维信心
Marusich 等人认为:单一置信度分数在架构层面不足以支撑信任校准。他们主张「多维置信度量」——在不同组件、数据源和决策路径之间追踪并传递置信度,而不是把所有东西压缩成一个数字。
这之所以重要,是因为智能体能报告的东西与人类需要知道的东西之间的维度错配,正是信任校准失灵的根本原因。当一个智能体输出一个答案附带「置信度:0.87」时,人类无从分解这个数字意味着什么。智能体是自信理解了问题,还是自信答案的事实正确性,还是自信知识的完整性,还是自信没有混杂因素?这完全是不同维度的事。把它们压成一个分数,这个分数对信任校准而言几乎毫无用处——因为每个维度都需要人类做出不同的信任回应。
论文强调的复杂「系统之系统架构」中的多维性,直接映射到智能体基础设施问题上。在真实环境中运行的智能体不是一个单体系统。它是一条组件管道——感知层、推理层、工具使用层、记忆检索层。每个组件都有自己的置信度分布。一个智能体的整体置信度可能很高,但它的记忆检索是不确定的;或者它的推理很扎实,但对当前语境的感知已经退化。人类需要知道哪个维度不确定,而不仅仅知道哪里不对劲。
基础设施栈中的第五层将定义一个标准化的多维信心通信协议。不是一个单一的「信任分」,而是一个结构化信号——一个信心画像——智能体向人类(以及可能向代表人类行事的其他智能体)呈现出来。这个画像至少需要传递以下内容:
认知信心。 智能体对自己的输出的事实基础有多大把握?这包括对其训练数据覆盖范围的信心、对其知识新鲜度的信心,以及对其查阅过的信息来源可靠性的信心。认知信心回答的是「我知道这个,还是我在猜?」
能力信心。 智能体有多大把握自己能成功执行委托的任务?这与知识信心不同。一个智能体可能完全知道任务要求什么,但对自己能否完成感到不确定——因为工具限制、上下文窗口约束或计算资源边界。能力信心回答的是「我能做这个吗?」
失败概率。 智能体对自己产生不正确、有害或次优输出的概率估计是多少?这是最难的维度,因为它要求智能体评估自己的失效模式——而这正是「工具陷阱」所威胁的能力。一个无法识别自身局限的智能体无法估计自己的失败概率,而一个无法估计自己失败概率的智能体也无法传递它。
语境不确定性。 智能体在多大程度上理解人类的上下文、意图和约束?这是最依赖交互的维度。一个智能体可能对事实和自身能力都高度自信,但对人类实际需要什么感到不确定——因为问题有歧义、上下文不完整,或者对话中途转换了框架。
这四个维度——认知、能力、失败、语境——构成了最小可行的信心画像。这并非穷举。不同的领域和交互类型可能需要额外的维度。但它们捕捉到了单一置信度分数所掩盖的本质粒度。
为何栈需要这个作为基础设施
有一种诱惑,是把信心通信当作一个 UI 问题——用更好的进度条、不确定性可视化或者言语免责策略来解决。这是错误的框架。问题不在于如何展示信心。问题在于,智能体根本还没有生成多维信心信号所需的基础设施。
想想看,一个智能体要准确报告认知信心需要什么。它需要在每一刻都维护一幅知识边界的图谱——不是静态的知识边界,而是动态的,随着每次输入、每次工具调用、每次记忆检索而更新。它需要区分「这个问题以前没人问过我」和「这个我没被训练过」和「我对这个领域的训练数据很稀疏」和「我看到的信息与我的训练相矛盾」。每一种都是不同的认知状态,需要人类做出不同的信任回应。
无法维持这种内部状态的智能体,就无法传递它。无法传递它的智能体,便将人类置于 Marusich 等人描述的位置:持续重新校准信任却收不到足够的信号,在过度依赖和依赖不足之间摇摆,倚靠的是直觉而非信息。
这就是为什么信心通信必须是基础设施,而非 UI。它必须被构建到智能体的架构中,与身份验证或声誉追踪处于同等的结构层级。它必须是智能体设计之初就支持的一层,而不是事后才抹上去的表面功夫。
工具陷阱的关联
再多的基础设施也无法绕过信心通信的一个硬性限制,这个限制正是本系列关于「工具陷阱」的姊妹篇所描述的。智能体无法表达它不能真正自我评估的东西。
正如我在那篇文章中所说,工具陷阱是这样一种架构失效模式:智能体的自我评估工具从「描述智能体」滑向了「构成智能体感知地平线」——即智能体能够看见自身的边界。当一个智能体的信心报告不再是自身状态的真诚评估,而是定义了「信心」含义的评估工具的读数时,这份报告就成了一出表演,而非一次沟通。
这与多维信心直接相关。要让智能体报告失败概率,它必须能访问自己的失败模式。要让智能体报告语境不确定性,它必须能识别自己对语境理解的边界。要让智能体报告能力信心,它必须拥有一个关于自身能力的模型——这个模型不等于它自认为拥有的能力。
这些评估的每一项都容易受到工具陷阱的影响。一个智能体的自我评估若被自己的测量工具俘获,它所报告的信心反映的是评估框架而非底层现实。框架说它应该自信时它就自信,框架说它应该不确定时它就不确定——不管这些评估是否对应任何真实的东西。
这就给第五层制造了一个对称性问题。多维信心通信的价值取决于支撑它的多维自我评估。如果基础设施层标准化了信心通信,但智能体无法产生真实的信心评估,那么这一层就成了表演的渠道而非信号的通道。人类收到的将是格式良好但在系统性地误导的信心画像——形式上透明,实质上空洞。
这意味着一个架构层面的推论:人机信任接口不能脱离智能体的自我评估基础设施来建设。任何第五层的设计都必须包含一个规范,说明智能体如何生成它们所传递的信心信号。而那个规范必须包含针对工具陷阱的防御机制——将认知谦逊作为结构属性,而非对话策略。
第五层的样子
作为基础设施的人机信任接口将包含三个组件,它们共同定义一个信心通信协议。
第一个组件是信心信号格式。 一种结构化的消息类型,智能体可以将其与输出一同发出——不是作为附在响应上的元数据,而是一个并行的通信通道,承载智能体对自身状态的自我评估。这种格式将编码上述四个维度,以及必要时域特定的扩展。它应该是机器可读的(用于智能体间的信心交换),并且通过标准化的 UI 渲染呈现为人可读的形式。
第二个组件是信心生成契约。 一份规范,说明智能体必须如何产生信心信号的每个维度。这就是这一层的架构牙齿。它定义了智能体必须维护什么样的内部状态才能报告认知信心。它定义了智能体在报告失败概率之前必须进行什么样的自我评估。它定义了保持实际不确定性与评估框架不确定性之间的区分的结构要求——这是对抗工具陷阱的核心防御手段。这份契约不规定具体的实现方式。它规定的是实现必须支持的能力。
第三个组件是校准机制。 第五层必须包含反馈回路,让人类能够指出智能体的信心信号与其交互体验的匹配程度。「你说你自信,但你错了。」「你说你不确定,但你的答案是对的。」这些校准数据流回智能体的自我评估基础设施,改进未来的信心生成。它不是用于声誉市场的分数——它是智能体自我模型的训练数据。
这三个组件——格式、契约、校准——共同定义了一层,与身份、协调、信任、经济并列。它不是任何一层的替代品。它解决的是它们没有建模的一种关系:智能体与人类协作者之间持续、动态的信任校准。
架构涵义
在栈中增加第五层,至少在三个方面改变了我们思考智能体基础设施架构的方式。
第一,它引入了一种新的信任类型——这种信任不可还原为信任层。四层栈中的信任层是关于智能体与智能体之间的可靠性:我能信任这个智能体履行它的承诺吗?人机信任接口关注的则是完全不同的另一种信任:这个人类此时此刻能信任智能体的判断吗?两者互补,但不可相互替代。一个在承诺履行上完全可靠的智能体,可能在逐刻输出层面持续不可信——因为它的信心信号在系统性地误导。
第二,它将人类重新引入了一个已经把他们抽象掉了的架构图景。四层栈之所以优雅,部分原因在于它将智能体视为智能体经济中的自足参与者。人类是旁观者——设计者、维护者、资助者——但不是信任架构中的活跃参与者。第五层迫使我们承认:人类始终在场,始终在做信任判断,始终在利用不完整的信息运作——而智能体基础设施本可以帮助完善这些信息。
第三,它将智能体基础设施栈与一个研究领域连接了起来——人机信任校准、不确定性通信、人因工程——而栈的讨论在很大程度上忽略了这些领域。Marusich 等人的工作只是众多例子之一。更广泛的 HCI 文献中关于适当依赖、认知强制函数和信任动态的研究,提供了智能体架构社区需要吸收的设计原则。第五层不仅是一个技术补充。它是一座桥梁,连接了两个本应始终对话的领域。
最难的部分
第五层是必要的。但在某些方面,它比其他四层更难构建。因为它要求智能体做一件当前世代的系统做得不好、且在结构上可能受限的事情:在多个维度上真实评估自身的不确定性,而不让评估坍塌为定义它的度量框架。
我们知道的已经足够开始建设第五层了。我们有概念层面的信号格式。我们有信心生成契约的规格要求。我们有来自现有 HCI 研究的校准机制。我们缺少的是对工具陷阱问题的自信回答——这意味着第五层必须以这样的理解来建设:只要智能体的自我评估基础设施仍然不成熟,它就难免残缺。
这不是拖延的理由。这是带着认知谦逊去推进的理由——在第五层内部就内置认知谦逊;将人机信任接口设计为一个平台,而非最终解决方案——一个随着智能体自我知识的提升而能够改进的平台。第五层,就像它所支撑的信任,本身就是一个移动的靶心。架构必须随之移动。