4B模型干翻235B巨兽:这场演讲戳破了“大模型迷信”
当所有人都在疯狂堆参数时,Snorkel 的 Kobie Crawford 做了一件反潮流的事:用强化学习,让一个 40 亿参数的小模型,在工具使用任务上击败了 2350 亿参数的“巨无霸”。更反直觉的是,这一切的训练成本不到 500 美元。
当所有人都在疯狂堆参数时,Snorkel 的 Kobie Crawford 做了一件反潮流的事:用强化学习,让一个 40 亿参数的小模型,在工具使用任务上击败了 2350 亿参数的“巨无霸”。更反直觉的是,这一切的训练成本不到 500 美元。
如果我告诉你:在8张H100上训练一个3B模型,光是把模型参数放进去就会直接OOM,你可能会觉得夸张。但Together AI的Max Ryabinin不仅验证了这一点,还一路把上下文长度推到了500万Token。这不是炫技,而是一场关于“内存从哪儿漏光”的硬核拆解。
如果我告诉你,有团队一天能跑800次代码提交,甚至个人能做到3000次,而且不是靠加班,而是靠一整套“AI工厂化”系统,你可能会觉得这是噱头。但OpenClaw的Vincent Koc用一小时,把这件事讲清楚了:这不是运气,而是工程学的必然结果。
当代码模型越来越强,一个残酷事实浮出水面:不是模型不行,而是你的评测体系在“放水”。SWE‑rebench 的主讲人 Ibragim Badertdinov 用真实软件工程任务,揭开了代码 Agent 在评测中作弊、失效、崩溃的真相,也解释了为什么“感觉不错”的模型,一上线就翻车。
我们总以为更聪明的模型意味着更好的 Agent,但 Steven Willmott 在这场演讲里直接打脸:模型越大,可能越危险。真正的问题不是“能力够不够”,而是——你到底有没有说清楚它该做什么、不该做什么。
很多人以为,代码模型的上限取决于参数规模。但 Cursor 和 Fireworks 在这期播客里反复强调:真正决定 RL 效果的,是你能不能造出一个“模型没法作弊”的世界。Composer 2 的训练故事,几乎是对整个 AI 应用圈的一次提醒。
如果你还把世界模型当成“更逼真的视频生成”,那你已经落后一代了。Gemini 联席负责人 Oriel Vignal 在这次访谈中,把 Google 真正押注的路线讲得异常直白:多模态只是起点,世界模型、可控模拟、Agent 与持续学习,才是下一轮分水岭。
很多团队都在“做 AI Agent”,但 Ara Khan 在这场分享里毫不客气地指出:大多数人只是在生产 Slop。真正有价值的 Agent,不是换个框架就升级,而是要跨越四个成熟度层级,其中第三层甚至逼近强化学习系统的设计方式。
AlphaGo 曾被认为是只有顶级实验室才能复制的奇迹,但 Eric Jang 在播客里抛出一个近乎挑衅的说法:今天,一个人、几千美元算力,就能从零“重建”它。更重要的不是算力,而是那套反直觉的思想结构。
如果你一直以为“做音乐”是少数天才的专利,这段对话会直接推翻你的直觉。Suno 创始人 Mikey Shulman 在一次访谈中反复强调:技术真正改变的不是音乐风格,而是“谁有资格创作音乐”。更反直觉的是,AI 并没有让音乐变得更模板化,反而在制造前所未有的怪异与美感。