为什么AI项目80%的时间都花在评估上?
前Google Search工程师David Karam在这场工作坊中,系统拆解了“为什么AI评估如此困难,却又如此关键”。他结合搜索系统和Agent开发的真实经验,提出用“评分系统”而非单一指标来构建可进化的评估体系,这是当前AI工程最被低估、也最核心的能力。
前Google Search工程师David Karam在这场工作坊中,系统拆解了“为什么AI评估如此困难,却又如此关键”。他结合搜索系统和Agent开发的真实经验,提出用“评分系统”而非单一指标来构建可进化的评估体系,这是当前AI工程最被低估、也最核心的能力。
一场来自Harvey与LanceDB的联合分享,首次系统讲清楚企业级RAG在法律场景下面临的真实难题:复杂查询、超大规模数据、严格安全要求,以及为什么“评估”比算法本身更重要。
这场来自 Quotient AI 与 Tavily 的分享,直面一个被严重低估的问题:当 AI 搜索系统运行在真实、动态的互联网中,我们究竟该如何评估它是否“做对了”?演讲者给出了一套围绕动态数据、无参考指标和幻觉权衡的实用框架,试图回答生产级 AI Agent 的核心难题。
当AI Agent从Demo走向真实生产环境,最大的挑战并不是模型能力,而是系统是否“跑得住”。Temporal工程师Preeti Somal用真实架构、数据和现场Demo,讲清了一个被忽视的问题:没有可靠性,Agent规模化只会更快失败。
Linear 工程负责人 Tom Moor 复盘了团队从早期 AI 试验到系统化构建“代理协作平台”的全过程。这不是一次炫技式的分享,而是关于如何在真实产品中,让 AI 真正为工程团队节省时间、减少摩擦的实践经验。
在这场演讲中,英国政府AI孵化器负责人James Lowe提出了一个尖锐判断:当“写代码”越来越便宜,真正稀缺的能力变成了“决定该做什么”。他用公共部门真实项目的经验,讲述了为什么AI产品经理必须具备AI一线理解,以及在高度不确定的技术环境中,如何更快验证、放弃和转向。
在这场关于LLM评测的演讲中,Red Hat 的 AI 开发者倡导者 Taylor Jordan Smith 用大量真实经验说明:生成式 AI 的最大风险不在“不会用”,而在“用得太快”。这篇文章提炼了他关于企业级大模型落地、评测体系与渐进式成熟路径的核心洞见。
这不是一场关于“AI 很强”的演示,而是一场关于如何把 AI Agent 安全、可复现、可维护地交付到真实工程里的工作坊。Kyle Penfound 和 Jeremy Adams 用 Dagger 从零搭起一个能跑在本地、CI 和 GitHub Actions 里的 Agent,展示了工程化智能体的完整路径。
这是一场关于GitHub Copilot“进化方向”的现场演示。Christopher Harrison没有炫技,而是用大量时间解释一个核心问题:为什么Agent时代的Copilot,本质上是对“上下文”的重新理解。看完你会明白,Copilot正在从代码提示器,变成能被指挥、能协作、能持续工作的工程伙伴。
这场由 Bench 的 Damien Murphy 带来的 Workshop,用真实代码和现场 Demo 讲清了两个当下最火的概念:A2A 与 MCP。它不仅回答了“该用哪个”,更重要的是解释了“什么时候千万别用”,以及如何把它们组合成可落地的自动化系统。