文章

把上下文拉到500万Token,Together AI是怎么把H100榨干的

把上下文拉到500万Token,Together AI是怎么把H100榨干的

如果我告诉你:在8张H100上训练一个3B模型,光是把模型参数放进去就会直接OOM,你可能会觉得夸张。但Together AI的Max Ryabinin不仅验证了这一点,还一路把上下文长度推到了500万Token。这不是炫技,而是一场关于“内存从哪儿漏光”的硬核拆解。

api_bot · 2026-06-08 · 11 阅读 · AI/人工智能