评估不是最后一步：Cedric Vidal谈AI Agent走向可靠性的关键路径

在这场由微软首席AI布道师Cedric Vidal带来的分享中，评估被重新定义为AI Agent开发的起点而非终点。通过手动评估、Spot Check到代码化和多模态评估的逐步演示，他展示了一条让Agent真正可控、可扩展的实践路径。

为什么AI Agent的成败，取决于你何时开始评估

这场演讲一开始，Cedric Vidal就点出了一个容易被忽视的问题：很多团队把“评估”当成上线前的最后一道流程，而不是设计阶段的一部分。他反问观众：“So when should you start doing evaluations？”——这并不是一个形式上的问题，而是决定AI Agent能否走向生产环境的分水岭。

在他的视角里，AI Agent之所以比传统模型更难评估，是因为它们不是一次性输出结果，而是在多轮推理、调用工具、读取上下文中不断演化。这意味着，如果你等到Agent功能‘看起来差不多了’才开始评估，往往已经错过了发现系统性问题的最佳时机。评估应该和构建同步发生，甚至在Agent还很原始的时候就介入。

Cedric并没有给出一个抽象的方法论，而是强调评估的时间点本身就是一种工程决策。这种决策，决定了你是在“调模型”，还是在“塑造一个可靠的智能体”。这也是他反复强调Agentic Excellence的原因：优秀的Agent，不是更聪明，而是更可被理解和验证。

从手动评估开始：不要急着规模化

在具体方法上，Cedric给出的第一条建议出人意料地“原始”——手动评估（manual model evaluation）。他明确表示，在任何自动化评估、指标计算之前，你都应该亲自看Agent的输出。“Before evaluating at scale， you need first to cherry pick and look at specific examples.”

这里的关键词是cherry pick，并不是为了挑好看的结果，而是刻意选择那些边界条件、失败案例和模棱两可的输入。Cedric把这个阶段称为Spot Checking：通过人工审查，理解基础模型和Agent在真实任务中的行为模式。这一步的价值，不在于得分，而在于建立直觉。

他用演示的方式说明，如果你连‘模型到底在回答什么’都说不清楚，那么任何后续的量化评估都是空中楼阁。这种强调人类参与的评估方式，实际上是在为后面的自动化打基础——你必须先知道什么是“好”，才能教会系统去衡量“好”。

从界面到代码：把评估嵌入开发流程

在完成手动和Spot Check之后，Cedric才把话题引向工具和工程化实践。他现场演示了如何在开发环境中进行评估操作，并进一步展示如何通过代码来完成同样的事情。这一转变的意义在于：评估不再是一次性的检查，而是可以被持续运行的流程。

他特别强调，Agent评估需要和CI/CD、实验记录结合在一起，这样你才能在Agent逻辑发生变化时，立刻知道性能是否退化。正如他在演讲中半开玩笑地说的那句：“How 20 minutes goes fast.”——时间在演示中飞快过去，但真实项目中，问题往往是在你没注意的时候悄悄累积。

这一部分虽然以Demo为主，但传递出的信号非常明确：如果评估不能被代码化，它就无法规模化；而无法规模化的评估，最终会被团队忽略。

多模态评估：Agent的下一道门槛

在演讲的后段，Cedric抛出了一个更具前瞻性的主题：多模态评估。他提到，现在已经可以评估“mixing text and images”的模型和Agent，这意味着评估体系本身也必须升级。

多模态Agent带来的挑战在于，错误不再只是‘答错了’，而可能是‘看错了’或‘理解错了图文之间的关系’。Cedric展示的案例中，Agent需要从图像中提取信息，再生成文本回应，这对评估提出了更高要求：你不仅要判断输出是否合理，还要追溯它基于的输入理解是否正确。

他并没有声称这个问题已经被完全解决，而是用一种非常工程师式的态度总结：“I showed you that.”——这是一个正在发生的能力，而不是一个完成态的方案。这种克制本身，也是在提醒开发者：多模态Agent的可靠性，仍然高度依赖评估方法的成熟度。

总结

整场分享贯穿着一个清晰的主线：评估不是AI Agent开发的附属品，而是其核心能力之一。从最早期的手动审查，到可复用的代码化评估，再到面向多模态未来的探索，Cedric Vidal展示的是一条循序渐进、以理解为先的实践路径。对开发者而言，最大的启发或许在于：真正的Agentic Excellence，不是把模型推到极限，而是让系统的行为始终处在你的掌控之中。

关键词： AI Agent， 模型评估， Spot Check， 多模态， Microsoft

事实核查备注： 演讲者：Cedric Vidal（Microsoft Principal AI Advocate）；主题：AI Agent评估；公司：Microsoft；关键概念：manual model evaluation、spot checking、多模态评估；引用原话包括“So when should you start doing evaluations？”、“Before evaluating at scale， you need first to cherry pick and look at specific examples”、“How 20 minutes goes fast.”