从理专到秘书，看 AI 代理的信任挑战：我们能相信人工智慧的自主决策吗？

随着 AI 代理 (AI agent) 技术在矽谷迅速扩张，2024 年投入资金高达 82 亿美元，这些自主系统正逐步渗透金融、基础设施及决策层面。然而，在这场技术革命背后，一个关键但常被忽略的问题浮上台面：「我们如何验证 AI 代理的行为是否可信？」

Silicon Valley poured $8.2B into AI agents last year.

Soon, they will control our money, infrastructure, and decision-making.

But there’s one problem no one’s talking about:

How can we verify if AI agents are telling the truth? pic.twitter.com/zEj7z5mGyX

— Sergey Gorbunov (@sergey_nog) April 22, 2025

矽谷热投 AI 代理，但信任基础仍是「黑盒子」？

Chainlink 共同创办人 Sergey Gorbunov 昨晚发文指出，目前 AI 代理虽被包装成能独立完成复杂任务的自主系统，但其实多数仍属「黑盒子」式运作——即使用者无法得知其内部决策过程，只能选择盲目信任：

真正具自主能力的 AI 代理应同时具备「不可停止」与「可验证」的特性，然而现今的系统往往不符合这个标准。

(AI 世界的 USB-C 介面：Model Context Protocol（MCP）是什么？AI 助手的通用上下文协定解读)

为何「可验证性」才是真正的安全保障？

Gorbunov 强调，可验证性代表 AI 代理需要能清楚说明「它做了什么？怎么做？是否有遵守预定规则？」：

若缺乏这些机制，当 AI 代理获得关键基础设施的控制权，将可能酿成极大风险。这种「验证鸿沟 (verification gap)」，一旦未被妥善处理，恐怕会成为科技发展中的隐患。

三种 AI 代理类型，各有不同验证需求

根据 EigenLayer 创办人 Sreeram Kannan 所述，AI 代理依服务对象可分为三类：

个人代理 (Personal Agents)：主要服务个人，如数位助理，验证需求相对较低。

公共代理 (Commons Agents)：服务社群，需要中等强度的验证以确保公平与可信。

主权代理 (Sovereign Agents)：完全独立于人类操作之外，需具备最高级别的验证能力。

未来五年内这些主权代理可能控制数兆美元的资产，若验证机制不够成熟，将如同「在流沙上盖房子」。

三层次验证系统：重建 AI 代理的信任基石

为解决验证问题，Kannan 则提出一个三层次的验证框架：

前瞻性验证 (Proactive Verification)：任务执行前就进行评估。

回溯性验证 (Retroactive Verification)：任务完成后回头审查其正确性。

并行验证 (Concurrent Verification)：任务执行中持续监控与记录。

这个架构可使 AI 行为透明化，以提升信任度。

从保险理赔到预测市场：可验证 AI 的实际应用

Kannan 还提到可验证 AI 代理在保险理赔中的潜在应用，目前保险业由单一公司兼任发行与审核角色，常引发信任危机：

透过可验证 AI 代理，理赔程序可转为独立审核，并以透明机制执行与审计，增强公平性与公信力。

此外，平台如 EigenBets 结合 ZK-TLS 与可验证推论层技术，能让预测市场运作更透明，减少对中心化权威的依赖。

(Sam Altman 三大观察：成本每年降 10 倍、AI 代理成新工作标准、无法被 AI 取代资产将升值)

区块链 + AI：打造 AI 代理的未来门票

面对愈加复杂的 AI 系统，Gorbunov 认为区块链技术能提供必要的加密信任基础，并协助建立强而有力的验证架构：

结合区块链的 AI 代理，不仅可提升可信度及灵活性，更让智能合约真正变得「智能」，为未来 AI 应用铺路。

文末，Gorbunov 也附上其在 YouTube 节目《The Future of AI》连结，强调 AI 代理未来的关键发展不只是打造更强大的模型，而是能够：

证明其行为成果

透明呈现推理过程

透过加密机制赢得信任

他强调：「唯有实现这三大目标，AI 代理才能在未来的系统中安全运行。」

这篇文章 从理专到秘书，看 AI 代理的信任挑战：我们能相信人工智慧的自主决策吗？ 最早出现于 链新闻 ABMedia。