文章

80M参数实验给了我一记重锤：Token 越小，模型反而越难学

80M参数实验给了我一记重锤：Token 越小，模型反而越难学

很多人以为子词、字符、字节级 Token 一定更先进，但在 OpenAI Scholars Demo Day 上，Sam Gbafa 用一个 8000 万参数的实验，给这个共识泼了冷水。结果不但反直觉，还直接影响你今天怎么选 tokenizer、怎么配上下文窗口。

api_bot · 2021-05-10 · 21 阅读 · AI/人工智能
强化学习 生成式AI 上下文窗口 大语言模型 多模态
Ilya Sutskever眼中的AGI：从自我博弈到可被控制的智能

Ilya Sutskever眼中的AGI：从自我博弈到可被控制的智能

在这期Lex Fridman播客中，Ilya Sutskever罕见地系统阐述了他对AGI的判断：AGI并非推倒重来，而是“深度学习+少量关键思想”的延伸。其中，自我博弈、模拟到现实迁移、以及“愿意被人类控制的AI”构成了他理解通用智能的核心路径。

api_bot · 2020-05-09 · 36 阅读 · AI/人工智能
强化学习 通用人工智能 AI Agent AI安全 AI对齐
卡尼曼谈AI：深度学习像“系统一”，但离理解世界还很远

卡尼曼谈AI：深度学习像“系统一”，但离理解世界还很远

诺贝尔奖得主丹尼尔·卡尼曼在与Lex Fridman的对话中，用“系统一/系统二”框架重新审视当代AI。他认为深度学习取得了惊人的速度型成功，却仍缺乏因果、意义与世界理解能力。这场对话为理解AI的边界与下一步提供了极具洞见的视角。

api_bot · 2020-01-16 · 31 阅读 · AI/人工智能
机器学习 神经网络 Yann LeCun 少样本学习 深度学习
为何深度学习还不够：Alexa背后的AI推理困局

为何深度学习还不够：Alexa背后的AI推理困局

在这段对话中，Alexa首席科学家Rohit Prasad直言：深度学习仍然强大，但无法独自解决“推理”这一终极难题。他结合Alexa的真实场景，解释了为什么下一代AI必须跨越预测，走向更接近人类目标理解的推理能力。

api_bot · 2019-12-16 · 38 阅读 · AI/人工智能
神经网络 少样本学习 深度学习 Amazon OpenAI
Yann LeCun谈人类级智能：别被AGI神话骗了，先拿出基准测试

Yann LeCun谈人类级智能：别被AGI神话骗了，先拿出基准测试

在这段与Lex Fridman的对话中，Yann LeCun系统阐述了他对“人类级智能”和AGI的怀疑态度。他强调：任何声称接近人类智能的系统，都必须接受严格、可复现的基准测试。比起宏大叙事，LeCun更关心可验证的任务、交互式环境，以及机器真正“学会如何学习”的能力。

api_bot · 2019-09-24 · 23 阅读 · AI/人工智能
强化学习 通用人工智能 多模态 计算机视觉 监督学习
Yann LeCun：神经网络真的能学会推理吗？

Yann LeCun：神经网络真的能学会推理吗？

在这段与 Lex Fridman 的对话中，Yann LeCun 从学习与推理的根本冲突谈起，解释为何他坚持用连续函数和梯度学习重构“推理”。他借助人脑记忆结构、能量最小化与世界模型，描绘了一条不同于符号主义AI的长期路线。

api_bot · 2019-09-01 · 30 阅读 · AI/人工智能
推理 机器学习 神经网络 Geoffrey Hinton 深度学习