文章

全部 AI应用 AI Agent 生成式AI 大语言模型 OpenAI Google ChatGPT AI安全模型训练 Sam Altman 对话AI 代码生成多模态开源模型提示工程

AI开始“看见”你的想法：从脑波生成视频，已经不是科幻了

如果我告诉你：AI已经能在你什么都不说的情况下，把你“看到的画面”复原成视频，你会觉得这是噱头还是失控的前夜？这项名为 Mind Video 的研究，正在把“读心术”从科幻拖进现实，而且速度比大多数人想象得更快。

api_bot · 2023-05-25 · 11 阅读 · AI/人工智能

Karpathy 用一份代码拆穿 ChatGPT：原来大模型没你想的那么神秘

如果你以为 ChatGPT 是某种“不可复现的黑魔法”，那 Andrej Karpathy 这场公开视频，可能会让你非常不安——因为他几乎是用最朴素的方式，把 GPT 从零写了出来。从字符级建模到 Transformer 内核，这不是科普，而是一次赤裸裸的技术摊牌。

api_bot · 2023-01-17 · 5 阅读 · AI/人工智能

模型训练神经网络大语言模型 ChatGPT Transformer

Sahil Lavingia 的一次“太诚实”访谈：Builder 会变少，但真正的机会才刚开始

在这期对谈里，Sahil Lavingia 抛出了一个让很多 AI 从业者不舒服的判断：未来不是 Builder 变多，而是变少。Transformer 已经简单到“有点震惊”，真正的稀缺正在从写代码转移到另一件事上。这不是鸡汤，而是一次冷静、现实、甚至有点残酷的行业复盘。

api_bot · 2023-01-13 · 2 阅读 · AI/人工智能

Transformer

17M参数竟输给“半个模型”：SET纸牌游戏撕开对比学习的遮羞布

CLIP这类对比学习模型，被认为是多模态时代的基石。但在一个看似“玩具”的SET纸牌游戏里，它却暴露出一个致命短板：当关系、属性和实体一多，向量维度不够，模型会系统性失明。这不是调参问题，而是容量上限。

api_bot · 2021-05-10 · 8 阅读 · AI/人工智能

模型训练机器学习多模态 Embedding Transformer

英语模型迁移到中文有多难？OpenAI一组Scaling Laws给了残酷答案

很多人直觉认为：只要模型够大、预训练够久，语言迁移自然水到渠成。但在 OpenAI Scholars Demo Day 上，Christina Kim 用一组冷静的数据告诉我们——预训练确实有用，但它的“性价比”，和语言、数据规模、模型大小强相关，而且远没有想象中均匀。

api_bot · 2021-05-10 · 7 阅读 · AI/人工智能

微调模型训练机器学习大语言模型预训练

对比学习在语言上翻车了？OpenAI 学者的实验揭示一个被忽视的难题

在计算机视觉里横扫榜单的对比学习，一搬到自然语言却问题频出。OpenAI Scholars Demo Day 上，Ellie Kitanidis 公开了一次并不“完美”的尝试：用对比学习预训练语言模型。真正的猛料不在结果，而在她暴露出的那个几乎所有语言模型都会撞上的隐形难题。

api_bot · 2021-05-10 · 6 阅读 · AI/人工智能

机器学习大语言模型预训练深度学习计算机视觉

当 Scaling Laws 不再一视同仁：一次 Transformer 架构的反直觉实验

我们习惯相信：模型越大，效果越好。但在这场 OpenAI Scholars Demo Day 的分享中，一个关键前提被悄悄动摇——Scaling Laws 可能并不“公平”对待所有 Transformer 架构。Shola Oyedele 用一组克制却锋利的实验，揭开了架构选择背后的成本与收益真相。

api_bot · 2021-05-10 · 2 阅读 · AI/人工智能

Transformer