“提示工程已死”:一场由评估器驱动的反直觉实验
Nir Gazit用一次真实的RAG机器人优化实验,挑战了“提示工程是一门手艺”的共识。他没有手工打磨prompt,而是用评估器和Agent把效果从0.4推到0.9,给出了一条更像工程、也更可扩展的路径。
Nir Gazit用一次真实的RAG机器人优化实验,挑战了“提示工程是一门手艺”的共识。他没有手工打磨prompt,而是用评估器和Agent把效果从0.4推到0.9,给出了一条更像工程、也更可扩展的路径。
这场演讲给出了一个清晰判断:未来 AI Agent 的竞争核心不在提示词,而在记忆。MongoDB 的 Richmond Alake 从工程实践出发,系统拆解了 Agent Memory 的定义、类型、架构模式以及检索的重要性,解释了为什么“没有记忆,就没有真正的 Agent”。
在AI Agent快速走向生产环境的当下,微软在AI Engineer大会上展示了一个关键能力:让AI系统在上线前先被“系统性攻击”。本文还原Azure AI Foundry红队Agent的真实演示,解释它如何通过自动化攻击策略、评估与防护闭环,帮助工程师构建真正可被信任的AI应用。
这场来自GitHub开发者布道师Jon Peck的分享,没有炫技式Demo,而是从个人使用、团队协作到治理与CI/CD,拆解AI如何一步步进入真实的DevOps体系。你会看到AI不是“开关”,而是一套需要被设计、被约束、被运营的能力。
在这场演讲中,Jim Bennett用一连串真实翻车案例和现场演示,解释了为什么AI代理天生不值得“信任”,以及如何通过“以评估为核心、以可观测性为驱动”的方法,把不可预测的AI系统驯服成可控的软件系统。
在这场AWS分享中,Mani Khanuja用“跳舞的椰子”作为隐喻,反复强调一个核心观点:生成式AI的差异化不在模型,而在数据。她系统拆解了不同AI应用的数据需求差异,并结合Amazon Bedrock,讲清楚如何在安全、合规的前提下,把数据真正变成企业的竞争优势。
AWS 的 Suman Debnath 在这场演示中介绍了 Strands Agents——一个刻意“反工程化”的开源 AI Agent SDK。它试图用极少的 scaffolding,把推理权真正交还给模型,并通过真实 Demo 展示:当你只保留模型与工具,Agent 反而能做得更多。
这是一次少见的、从代码细节出发讨论“生产级 AI Agent”的分享。AWS 开发者布道师 Mike Chambers 用一个极简 Demo,拆解了 AI Agent 的最小可行结构,并解释了为什么真正的难点不在模型,而在工程化与系统设计。
这场演讲不是在讲“为什么要做评估”,而是直面一个更残酷的问题:当LLM真正进入生产环境,评估体系该如何跟上复杂度和速度?Dat Ngo结合大量真实落地经验,给出了一套围绕可观测性、信号设计和工程化迭代的评估方法论。
在这场演讲中,Braintrust 的 Manu Goyal 用童年故事和自动驾驶的真实经历,解释了为什么“Eval”不是AI开发的附属品,而是决定模型能否安全、快速走向生产的核心基础设施。