大语言模型的记忆革命:从上下文到权重注入的未来路径
本文深度还原了Jack Morris在2025年Cornell演讲的核心洞见,聚焦大语言模型(LLM)如何突破知识边界,从上下文窗口、检索增强生成(RAG)到将知识直接训练进模型权重。通过真实案例、前沿技术对比和行业趋势,帮助你理解下一代AI系统的构建方法。
本文深度还原了Jack Morris在2025年Cornell演讲的核心洞见,聚焦大语言模型(LLM)如何突破知识边界,从上下文窗口、检索增强生成(RAG)到将知识直接训练进模型权重。通过真实案例、前沿技术对比和行业趋势,帮助你理解下一代AI系统的构建方法。
本文基于Aman Khan在AI Engineer World Fair的现场演讲,深度解读AI产品经理(AIPM)在推动AI应用落地时面临的挑战、独特方法论和真实案例。你将看到从自驾车到生成式AI的评测演变,以及如何用“评测”取代传统需求文档,打造更可靠的AI产品。
这是一份基于500名一线工程师的真实调查,揭示了2025年AI工程的实际状态:经验丰富的工程师依然“很新手”,LLM已无处不在,但工程体系却明显滞后。演讲用大量数据和幽默,勾勒出一个快速演进却充满结构性痛点的行业。
这场演讲不是在讲“为什么要做评估”,而是直面一个更残酷的问题:当LLM真正进入生产环境,评估体系该如何跟上复杂度和速度?Dat Ngo结合大量真实落地经验,给出了一套围绕可观测性、信号设计和工程化迭代的评估方法论。
这场由OpenAI工程师Ilan Bigio带来的分享,系统梳理了三种主流微调方式——SFT、DPO与RFT——以及它们各自解决的问题边界。与其把微调当成“最后的魔法”,他更强调一种工程化、循序渐进的思路:什么时候提示工程就够了,什么时候必须动用微调,以及如何避免投入巨大却收益有限。
当大多数公司直接接入现成AI工具时,Jane Street却选择了一条更难的路:围绕自研语言生态,从数据、训练到编辑器,重新打造AI开发工具链。这篇文章还原了他们如何在“模型不懂OCaml”的现实下,把大语言模型真正变成可用生产力。
这篇文章梳理了Magenta负责人Doug Eck在YC播客中的核心观点,讨论机器学习如何参与音乐与艺术创作。你将看到艺术家真实的使用方式、监督学习在创作中的角色,以及人类对“机器创作”的深层焦虑。
在这场演讲中,Bespoke Labs 创始工程师 Ryan Marten 复盘了 OpenThoughts 项目的完整探索过程:为什么 DeepSeek R1 的成功让他们意识到“数据配方”才是推理模型的关键,以及他们如何通过系统化实验,把监督微调(SFT)的推理能力推到新的高度。