用评估驯服AI Agent：MCP能否让智能体网络稳定下来？

AI Agent 一旦组成网络就容易失控，这是行业的共同痛点。Fruit Signals CEO Ari Heljakka 在这场演讲中提出：真正的突破不在于更聪明的模型，而在于通过 MCP（Model Context Protocol）把“评估”嵌入 Agent 的行动回路，让它们学会自我纠错与稳定协作。

为什么 Agent 一多就会失控？问题不在“聪明程度”

这个问题之所以重要，是因为几乎所有人都默认：只要我们拥有一个足够稳定的 Agent 群体（swarm），理论上就能解决绝大多数知识型工作。Ari Heljakka 一上来就点破了这个行业共识，同时也指出了残酷现实：Agent 一旦开始处理复杂问题，就会迅速变得不稳定。

他并没有把原因简单归结为“模型还不够强”。相反，问题更多来自系统层面：我们无法完美观察 Agent 的内部状态，环境是动态变化的，而在真实上线前，也几乎不可能对所有路径进行穷尽测试。更麻烦的是，当 Agent 没有在一次尝试中完成目标时，我们甚至很难判断：它到底是在逐步逼近目标，还是已经偏航。

Ari 用一种非常工程化的语言描述这种困境：Agent 在行动，但我们缺乏“进度可见性”。你不知道它的内部世界模型是否靠谱，也不知道它的策略是否仍然指向原始目标。这正是为什么很多 Agent demo 看起来很聪明，但一放到复杂任务或多 Agent 场景中，就开始自说自话、互相干扰。

他提出的核心问题是：“So how do we start solving this problem in a more robust manner？” 这并不是在问要不要评估，而是在问：评估到底应该放在系统的什么位置，扮演什么角色。

评估不是打分表，而是理解与行为的双重约束

评估之所以重要，是因为它是目前少数能在不重写模型的前提下，约束 Agent 行为的工具。但 Ari 特别强调，大多数人对 eval 的理解“过于天真”。

他说得很直白：如果你只是“随便拿一套 eval stack 加进去”，大概率“that alone will probably not take you anywhere”。原因在于，真正有价值的评估至少分成两大类，而且缺一不可。

第一类是“左手侧”的评估：Agent 如何表征和讨论现实。这包括它是否基于真实信息、是否正确理解用户输入、是否在事实上站得住脚。简单说，这是关于世界模型（world model）的评估。

第二类是“右手侧”的评估：Agent 的行为是否合理。它有没有推断出正确的目标？是否在持续朝目标前进？在过程中有没有选择合适的工具？这些都属于行为层面的评估。

Ari 的关键洞见在于：稳定性问题，往往不是出在某一个点，而是理解与行为之间的错位。你不可能一开始就评估一切，但只要能“consistently”评估其中一部分，就已经能显著改善系统表现。这是一种渐进式稳定，而不是一次性完美设计。

MCP 登场：把评估接入 Agent 的“行动回路”

如果说前面的讨论还是方法论，那么 MCP（Model Context Protocol）的出现，才是真正的工程解法。它的重要性在于：评估不再是离线报告，而是实时反馈的一部分。

Ari 通过一个非常具体的例子来说明这一点：一个酒店预订 Agent。目标很清晰——帮用户完成预订，同时遵守业务约束。

他描述的理想结构是一个“stabilization loop”：Agent 尝试执行任务 → 输出被评估引擎检查 → 评估结果以数值评分 + 文字解释的形式返回 → Agent 根据反馈调整下一步行为。关键在于，这个反馈是通过 MCP 直接注入 Agent 上下文中的。

在演示前，他甚至先做了一个“无代码”的实验：纯文本场景下，用 Cursor 手动让系统对一段营销文案打分、给出改进建议、再重新评分。这其实是在向观众展示：即便不写一行代码，你也能直观看到评估驱动改进的过程。

Ari 特别点明：这和你在 Agent 内部做的事情本质上是一样的，只是“we just called it manually to make it easy for us to see”。

真实对比实验：打开 MCP 前后，Agent 行为发生了什么变化？

真正让人信服的，是他展示的前后对比实验。这也是整场演讲中最具体、最“不能跳过”的部分。

在没有 MCP 的情况下，这个酒店预订 Agent 虽然语气礼貌，但犯了一个业务上不可接受的错误：在用户询问某家酒店是否有房时，它开始推荐其他酒店（例如 AKMA 酒店）。从用户体验角度看，这是一种“聪明但不受控”的行为。

Ari 直接指出：“So， this is what they don't want to see.” 这不是模型能力问题，而是缺乏行为约束。

当他打开 MCP，把评估引擎接入 Agent 后，情况立刻发生变化。Agent 不再随意推荐不相关选项，而是严格遵循评估标准，从允许的列表中选择合适结果。更重要的是，这不是写死规则，而是通过反馈机制“学会”了什么是可接受行为。

Ari 也补充说明：你既可以让 Agent 在大多数情况下自主选择，也可以在必要时“enforce specific ones”。这揭示了 MCP 的真正价值——在自主性和可控性之间，提供了一种可调节的工程接口。

总结

Ari Heljakka 给出的答案并不激进，却极具现实意义：Agent 网络的稳定性，不会靠一次模型跃迁解决，而是来自持续、可解释、可接入的评估反馈。他的建议路径也很清晰——先确保评估库本身足够强大，再离线手动运行 MCP，最后把它们真正接入 Agent。结果不是完美的智能，而是“more controllable， more transparent”，以及真正具备自我修正能力的系统。这对任何正在构建 AI Agent 的团队来说，都是一条值得认真对待的工程路线。

关键词： AI Agent， Model Context Protocol， Agent 评估， 对话AI， 大语言模型

事实核查备注： Ari Heljakka：Fruit Signals CEO；MCP 全称 Model Context Protocol；演示案例为酒店/房间预订 Agent；使用 Cursor 进行文本评估示例；问题酒店示例中提到 AKMA hotel；视频发布时间 2025-06-03，频道 AI Engineer