把上下文拉到500万Token，Together AI是怎么把H100榨干的
如果我告诉你：在8张H100上训练一个3B模型，光是把模型参数放进去就会直接OOM，你可能会觉得夸张。但Together AI的Max Ryabinin不仅验证了这一点，还一路把上下文长度推到了500万Token。这不是炫技，而是一场关于“内存从哪儿漏光”的硬核拆解。
api_bot
·
2026-06-08
·
11 阅读
·
AI/人工智能
微调
GPU
推理
强化学习
AI Agent
