为什么AI项目80%的时间都花在评估上?
前Google Search工程师David Karam在这场工作坊中,系统拆解了“为什么AI评估如此困难,却又如此关键”。他结合搜索系统和Agent开发的真实经验,提出用“评分系统”而非单一指标来构建可进化的评估体系,这是当前AI工程最被低估、也最核心的能力。
前Google Search工程师David Karam在这场工作坊中,系统拆解了“为什么AI评估如此困难,却又如此关键”。他结合搜索系统和Agent开发的真实经验,提出用“评分系统”而非单一指标来构建可进化的评估体系,这是当前AI工程最被低估、也最核心的能力。
一场来自Harvey与LanceDB的联合分享,首次系统讲清楚企业级RAG在法律场景下面临的真实难题:复杂查询、超大规模数据、严格安全要求,以及为什么“评估”比算法本身更重要。
这场来自 Quotient AI 与 Tavily 的分享,直面一个被严重低估的问题:当 AI 搜索系统运行在真实、动态的互联网中,我们究竟该如何评估它是否“做对了”?演讲者给出了一套围绕动态数据、无参考指标和幻觉权衡的实用框架,试图回答生产级 AI Agent 的核心难题。
这篇文章还原了Christopher Lovejoy关于“领域原生”LLM应用的完整思路:为什么通用模型难以落地、如何通过度量与反馈让系统逐步具备专家级判断,以及一位医生转型AI工程师的真实经验。
在这场关于LLM评测的演讲中,Red Hat 的 AI 开发者倡导者 Taylor Jordan Smith 用大量真实经验说明:生成式 AI 的最大风险不在“不会用”,而在“用得太快”。这篇文章提炼了他关于企业级大模型落地、评测体系与渐进式成熟路径的核心洞见。
这不是一场关于“AI 很强”的演示,而是一场关于如何把 AI Agent 安全、可复现、可维护地交付到真实工程里的工作坊。Kyle Penfound 和 Jeremy Adams 用 Dagger 从零搭起一个能跑在本地、CI 和 GitHub Actions 里的 Agent,展示了工程化智能体的完整路径。
这场由 Bench 的 Damien Murphy 带来的 Workshop,用真实代码和现场 Demo 讲清了两个当下最火的概念:A2A 与 MCP。它不仅回答了“该用哪个”,更重要的是解释了“什么时候千万别用”,以及如何把它们组合成可落地的自动化系统。
这场演讲围绕一个核心问题展开:为什么“通用机器人”在今天才变得可行?两位来自Physical Intelligence的研究者,从视觉-语言-动作模型(VLA)的技术突破、数据引擎的构建方式,到真实家庭场景中的机器人演示,给出了一个比“算力更强了”更具体、更残酷也更乐观的答案。
Pydantic作者Samuel Colvin在一次AI Engineer演讲中,抛出了一个反直觉观点:在生成式AI飞速变化的今天,真正不该被忽视的,是类型安全和工程基本功。他用真实代码演示解释了,为什么Agent并不神秘,以及为什么类型系统正在成为AI应用可维护性的核心。
在这场分享中,OpenHands 联合创始人 Robert Brennan 以一线工具构建者的视角,拆解了“软件开发代理”到底是什么、擅长什么、不擅长什么,以及开发者该如何与它们协作。他给出的不是宏大叙事,而是一套能立刻改变你工作方式的心智模型。