Ilya 针对他访谈的内容发推做了澄清和补充：> 访谈里有个点我没说清楚，补充一下：> 继续按现在的方法scale——堆算力、堆数据、堆训练环境——肯定还会带来改进。不会停滞，会继续变好。> 但是，总会缺点什么重要的东西。

发布时间: 2025-11-29 06:20:10

1分

数据加载中

关注推特

收听电报

2

1

0

Ilya 针对他访谈的内容发推做了澄清和补充：
> 访谈里有个点我没说清楚，补充一下：
> 继续按现在的方法scale——堆算力、堆数据、堆训练环境——肯定还会带来改进。不会停滞，会继续变好。
> 但是，总会缺点什么重要的东西。
IT技术
( twitter.com )

1小时前由宝玉提交

Ilya 针对他访谈的内容发推做了澄清和补充：

访谈里有个点我没说清楚，补充一下：
继续按现在的方法scale——堆算力、堆数据、堆训练环境——肯定还会带来改进。不会停滞，会继续变好。
但是，总会缺点什么重要的东西。

这是在纠正一个可能的误解。访谈里他说了很多「回到研究时代」「当前方法会撞墙」的话，容易让人以为他在唱衰 scaling law，觉得继续堆算力、堆数据、堆 RL 训练会失效。

他说不是这个意思，当前路径会持续带来改进，不会停滞。模型会继续变强，benchmark 会继续涨，产品会继续迭代，公司会继续赚钱。

注意后面的“但是”

有些东西你怎么scale都得不到。

这就像你在练短跑。继续训练，成绩还会提高，从12秒提到11秒5，再到11秒，甚至10秒9。这是真实的进步。但如果你的目标是学会飞，那不管你跑多快都没用，那需要完全不同的能力。

缺的是什么?

结合访谈内容,这个"重要的缺失"指的应该是:

真正的泛化能力
不是在海量数据训练后能做很多任务，而是能从很少的经验中快速学到新东西，并且学到的东西在新场景下也稳定可靠。

高效学习
人类学开车10小时，学编程几个月就能工作。这种效率，不是靠预训练海量数据能获得的。

访谈里那个“两个学生”的类比很说明问题。刷一万小时题的学生确实能继续提高竞赛成绩，从前10%到前1%到冠军，这是真实进步。但他永远成不了那个只练100小时就显示出"悟性"的学生。

Markdown支持

评论加载中...

您可能感兴趣的：更多

1

2

1

1

Ilya：扩展时代已经结束了，研究的时代已经开始
Ilya Sutskever 大概得有一年多没参加播客访谈了，自从 OpenAI 宫斗离职创办 SSI（Safe Superintelligence）后之后就很少露面了，
最近，他在 Dwarkesh Patel 的播客中进行了一场长达一个半小时的深度对谈。Ilya 毕竟是 Ilya，他不像 Sam Altman
IT技术
( twitter.com)

前天 • 宝玉 • -- 点击 • 下载视频 0 评论

01:36:03

2

3

2

2

多年前，宗庆后被采访时说：关于我在美国的家人做出一个澄清
时政
( twitter.com)

4个月前 • iPaul • -- 点击 • 下载视频 0 评论

00:00:48

3

6

5

5

1月12日，李宜雪发视频称，“通报内容严重失实，避重就轻，顾左右而言他，我父亲的澄清视频，发不出来” 目前，该视频已被删除。
时政

墙国法律

李宜雪事件
( twitter.com)

10个月前 • 李老师不是你老师 • -- 点击 0 评论

4

2

1

1

问："您能否澄清一下，美国是在与谁与中国对话？他们说贸易谈判是假新闻。"
川普："嗯，他们今天早上开了个会......所以，我想，和往常一样，你们的报道有误。"

时政
( twitter.com)

7个月前 • 头条热点 • -- 点击 • 下载视频 0 评论

00:00:22

5

2

1

1

陈希同在访谈中重点澄清的第一个问题，是关于他本人在 1989 年北京戒严中的身份和职责问题。他没有正面回忆当年的事情，而是针对《李鹏六四日记》驳论。陈希同说，多年之后，看了这本《李鹏日记》的影印本，他才知道自己曾经被任命为北京戒严指挥部正指挥。在此之前，包括在 1989
时政
( twitter.com)

6个月前 • Guoguang Wu / 吴国光 • -- 点击 0 评论

6

8

7

7

9月21日，对于营销号全网疯传全智贤的“辱华片段”，有网友表示，实际上这些内容都是断章取义，并逐一进行了澄清。
时政
( twitter.com)

2个月前 • 李老师不是你老师 • -- 点击 • 下载视频 0 评论

00:04:17

7

2

1

1

木遥在2018年整理的Park Williams关于加州为什么山火将频繁爆发的一个访谈内容。
时政
( twitter.com)

10个月前 • 小径残雪 • -- 点击 0 评论

8

2

1

1

ilya 看到了什么？what did ilya see? 看这个演讲你就会知道。建议看两遍，至少！
Ilya Sutskever: "Sequence to sequence learning with neural networks: what a decade"
昨天，ilya 在 2014 年的 seq2seq 论文在 NIPS 上得了终身成就奖。几个月没消息的 ilya，给了一个公开演讲。15 分钟，对着
时政
( twitter.com)

11个月前 • howie.serious • -- 点击 0 评论

9

3

2

2

逃往香港的难民和海外侨民的国内亲属传出了一些消息，一些西方媒体据此陆续发出了一些有关中国大陆发生饥荒的报导。这些报导是零星的，极不全面的，但中国政府一概斥为“恶毒攻击”、“造谣诬蔑”。为了扭转世界舆论，中国政府邀请了一些“友好人士”来华访问，希望借他们的笔“澄清事实真相”。对这些来华访
时政
( twitter.com)

8个月前 • 朱韵和 • -- 点击 0 评论

0.08059 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特