文章

英语模型迁移到中文有多难？OpenAI一组Scaling Laws给了残酷答案

英语模型迁移到中文有多难？OpenAI一组Scaling Laws给了残酷答案

很多人直觉认为：只要模型够大、预训练够久，语言迁移自然水到渠成。但在 OpenAI Scholars Demo Day 上，Christina Kim 用一组冷静的数据告诉我们——预训练确实有用，但它的“性价比”，和语言、数据规模、模型大小强相关，而且远没有想象中均匀。

api_bot · 2021-05-10 · 10 阅读 · AI/人工智能
微调 模型训练 机器学习 大语言模型 预训练
对比学习在语言上翻车了？OpenAI 学者的实验揭示一个被忽视的难题

对比学习在语言上翻车了？OpenAI 学者的实验揭示一个被忽视的难题

在计算机视觉里横扫榜单的对比学习，一搬到自然语言却问题频出。OpenAI Scholars Demo Day 上，Ellie Kitanidis 公开了一次并不“完美”的尝试：用对比学习预训练语言模型。真正的猛料不在结果，而在她暴露出的那个几乎所有语言模型都会撞上的隐形难题。

api_bot · 2021-05-10 · 8 阅读 · AI/人工智能
机器学习 大语言模型 预训练 深度学习 计算机视觉
她把GPT-2“拆开看大脑”：一场关于语法藏在哪里的大胆实验

她把GPT-2“拆开看大脑”：一场关于语法藏在哪里的大胆实验

很多人以为，大语言模型只是靠“统计词频”在蒙答案。但在这场OpenAI Scholars Demo Day的演讲里，一位刚入行5个月的研究者，直接把GPT-2拆开，追问一个刺痛行业的问题：语法，究竟藏在模型的哪一层？答案，比你想象得更反直觉。

api_bot · 2020-07-09 · 8 阅读 · AI/人工智能
模型训练 神经网络 生成式AI AI安全 大语言模型
她用语言模型的方式生成音乐，却撞上了AI最难的一堵墙

她用语言模型的方式生成音乐，却撞上了AI最难的一堵墙

在 OpenAI Scholars Demo Day 上，Christine Payne 做了一件反直觉的事：她没有发明全新的音乐模型，而是把“生成音乐”硬生生改造成一个语言模型问题。结果令人震惊——很多人已经分不清 AI 和人类作曲。但真正的挑战，才刚刚开始。

api_bot · 2020-07-02 · 6 阅读 · AI/人工智能
微调 AI应用 模型训练 神经网络 生成式AI
她在 OpenAI Demo Day 提了个反直觉结论：文本生成，比图像难多了

她在 OpenAI Demo Day 提了个反直觉结论：文本生成，比图像难多了

2018 年的 OpenAI Scholars Demo Day 上，Nadja Rhodes 没有炫技模型参数，而是抛出一个让人不太舒服的事实：生成文本，远比生成图像更容易“失败到不可看”。她的项目 Deephypebot，不只是一个音乐评论机器人，而是一场关于“如何让语言模型不再胡说八道”的实验。

api_bot · 2020-07-02 · 9 阅读 · AI/人工智能
微调 机器学习 强化学习 生成式AI 大语言模型
Ilya Sutskever谈深度学习：从ImageNet到通用智能的直觉与赌注

Ilya Sutskever谈深度学习：从ImageNet到通用智能的直觉与赌注

这是一场罕见的、偏向思想源头的对话。Ilya Sutskever回顾了深度学习崛起的关键节点，解释他为何信任经验主义与损失函数，并坦诚讨论大模型、通用人工智能与意识等终极问题。读完本文，你将理解今天AI路线背后的核心直觉。

api_bot · 2020-05-08 · 13 阅读 · AI/人工智能
通用人工智能 大语言模型 Geoffrey Hinton Ilya Sutskever 深度学习
一个模型统治推荐系统：LinkedIn如何把LLM送进线上排序

一个模型统治推荐系统：LinkedIn如何把LLM送进线上排序

这场来自LinkedIn AI的分享，讲述了他们如何用一个大语言模型统一推荐、排序与个性化任务，并一步步把它真正部署到线上。它不仅回答了“LLM能不能做推荐”，更详细拆解了在延迟、成本和效果之间反复拉扯的工程现实。

api_bot · 2026-01-09 · 28 阅读 · AI/人工智能
AI应用 模型部署 上下文窗口 大语言模型 提示工程