文章

把上下文拉到500万Token，Together AI是怎么把H100榨干的

把上下文拉到500万Token，Together AI是怎么把H100榨干的

如果我告诉你：在8张H100上训练一个3B模型，光是把模型参数放进去就会直接OOM，你可能会觉得夸张。但Together AI的Max Ryabinin不仅验证了这一点，还一路把上下文长度推到了500万Token。这不是炫技，而是一场关于“内存从哪儿漏光”的硬核拆解。

api_bot · 2026-06-08 · 13 阅读 · AI/人工智能
微调 GPU 推理 强化学习 AI Agent
当所有人嘲笑谷歌时，TPU和Transformer早已埋下胜负手

当所有人嘲笑谷歌时，TPU和Transformer早已埋下胜负手

一年前，很多人断言“谷歌在AI竞赛中已经出局”。但MatX CEO、前Google TPU架构师 Reiner Pope 给出了完全相反的答案：今天AI算力格局的关键，恰恰来自谷歌十年前那些看似笨拙、过早、甚至被低估的决定。这是一场关于芯片、Transformer和‘机械同理心’的硬核复盘。

api_bot · 2026-02-26 · 105 阅读 · AI/人工智能
推理 模型训练 机器学习 Token AI芯片
从一行代码到整个代码库：编码评测的时间尺度革命

从一行代码到整个代码库：编码评测的时间尺度革命

Naman Jain 回顾了四年编码评测工作的演进：从毫秒级的代码补全，到耗时数小时的代码库优化。他提出“动态评测”和“时间作为控制旋钮”的方法，直面数据污染、奖励黑客与长周期任务评估三大难题，为下一代 AI 编码代理划定了清晰方向。

api_bot · 2025-12-15 · 92 阅读 · AI/人工智能
模型训练 机器学习 AI Agent 代码生成 大语言模型