Netflix的豪赌:用一个基础模型统治所有推荐场景

AI PM 编辑部 · 2026年01月09日 · 5 阅读 · AI/人工智能

正在加载视频...

视频章节

在这场技术分享中,Netflix推荐系统负责人讲述了一次关键转向:放弃碎片化的推荐模型体系,转而用一个基础模型统一承载所有推荐需求。文章还原了这一决策的背景、技术细节与现实约束,解释为什么这不是一次简单的“模型升级”,而是一场组织与工程方式的重构。

Netflix的豪赌:用一个基础模型统治所有推荐场景

在这场技术分享中,Netflix推荐系统负责人讲述了一次关键转向:放弃碎片化的推荐模型体系,转而用一个基础模型统一承载所有推荐需求。文章还原了这一决策的背景、技术细节与现实约束,解释为什么这不是一次简单的“模型升级”,而是一场组织与工程方式的重构。

为什么Netflix要押注“一个模型”

这一演讲从一个看似大胆的问题开始:“能不能用一个基础模型,覆盖所有推荐用例?”这是演讲者在开场就抛出的核心赌注。之所以重要,是因为Netflix的推荐场景极其多样:主页是二维的行列布局,不同栏位有不同目标,不同用户状态、设备和时间点又会引入新的差异。

演讲者指出,这种多样性至少体现在三个层面:界面结构、业务目标和用户语境。过去的做法是为不同场景定制模型,短期看灵活,长期却带来了严重的系统性问题。最直接的后果是重复:重复的标签工程、重复的特征工程,甚至重复地解决同一类问题。

他回顾道,大约在四年前、疫情刚开始或中期时,团队意识到这种模式已经难以为继。模型数量的增加并没有线性提升效果,反而拖慢了创新速度。于是他们问了自己一个关键问题:“can we centralize the learning of user representation in one place?” 这不仅是技术问题,更是组织效率和长期可维护性的问题。

从重复劳动到统一表示:转折点的出现

这一节的关键在于“转折”。演讲者并没有把统一模型描绘成理所当然的演进,而是明确指出,这是在大量重复和摩擦中被“逼出来”的选择。不同推荐模型之间存在大量重叠,但又各自维护数据、标签和特征,导致改进一次能力,往往要在多个系统中重复实现。

疫情期间,用户行为快速变化,数据分布频繁漂移,这种碎片化架构的成本被进一步放大。每一个模型都需要单独适配变化,工程负担急剧上升。正是在这个背景下,团队决定尝试集中式学习用户表示,用一个共享的基础模型作为“能力底座”。

演讲者明确给出了答案:“So the answer is yes.” 但这个“是”并不轻松。它意味着要重新思考数据组织、训练方式以及不同任务如何在同一模型中共存。重要的是,这个决定并非为了追逐潮流,而是对现实工程痛点的直接回应。

数据、Token与训练目标:基础模型并不抽象

在谈到技术实现时,演讲者刻意从数据和Token讲起。他提醒,做过大语言模型的人都知道,Tokenization(将输入切分为模型可处理的最小单元)的决策会深刻影响模型能力。在推荐场景中,用户行为、内容信息如何被“编码”,同样是基础且不可逆的选择。

从Token层向上,是模型层,再到最顶层的目标函数。演讲中提到,他们不仅关注单一预测,而是探索“top multi-token prediction”等更复杂的训练目标,以更好地捕捉上下文。这一点很重要,因为推荐并非一次性判断,而是一个序列化、上下文相关的过程。

他还提到,模型的隐藏状态(hidden state)被下游多种任务复用,这正是基础模型的价值所在:共享表示、分离应用。技术上看,这要求模型在规模和训练周期上都能扩展;实践中,他们用大约两到两年半的时间,逐步验证了这种架构是可行的。

上线与现实:延迟、抽取与应用层妥协

如果说训练阶段回答了“能不能做”,那服务与应用阶段回答的就是“能不能用”。演讲者在后半部分切换话题,专门讨论基础模型如何被不同应用消费。在引入基础模型之前,各个推荐模型是端到端部署的;现在,它们更多是从一个共享模型中“抽取”能力。

但现实并不完美。对于有严格延迟要求的场景,直接调用完整基础模型并不可行。因此,团队允许从基础模型中导出轻量化的子模型或表示,用于特定场景。这是一种务实的折中,而非教条式的“一个模型解决一切”。

在总结时,演讲者用一句话定调:“the big bets are validated.” 这并不是说问题已经解决,而是方向被证明是对的。未来的工作还包括更好的上下文建模、更高效的Embedding使用方式等,这些都被他称为“very promising direction”。

总结

这场分享真正有价值的地方,不在于某个具体模型结构,而在于Netflix如何面对复杂系统的失控风险。用一个基础模型统一推荐,并不是为了炫技,而是为了减少重复、提高演进速度。对读者而言,最大的启发或许是:当系统复杂到一定程度,继续“打补丁”不如重新定义底座。


关键词: 推荐系统, 基础模型, 用户表示, 模型训练, Embedding

事实核查备注: 演讲来自Netflix推荐系统相关分享;关键原话包括“one foundation model to cover all recommendation use cases”“can we centralize the learning of user representation in one place”“the big bets are validated”;时间点为疫情开始或中期约四年前;训练周期约两到两年半;涉及技术名词:Tokenization、hidden state、Embedding、top multi-token prediction。