晚点LateTask这篇访谈的信息量非常大,关于百度美研、Scaling Law、OpenAI、Anthropic、Cerebras的往事。
"Dario 能进百度,其实是他职业生涯里很重要的一步。他是 Greg Diamos 招进来的。而且加入百度前,Dario 并不是计算机或 AI 科班出身,而是数学、物理和生物背景,Greg Diamos 发现他很有 AI 直觉和训练模型的能力。"
十年前(早于transformer),百度已经在训练接近 3 亿参数的语言模型——也就是发现Scaling Law雏形的时候。用 GPU 训练一次要三个多月,这个模型基于一个自研的框架——Paddle(飞桨)。
Sam Altman 本人是 Cerebras 的投资人。百度是 2017 年投的,Sam Altman 2016 年就投了。
百度早期投资 Cerebras,投资决策只用了2天,由李彦宏、陆奇、CFO做出——这个投资决策也证明了百度当时的投资眼光有多超前。
百度曾有机会成为 OpenAI、Anthropic 的早期天使。当时OpenAI、Databricks、Scale AI 这些公司都在百度的待投名单上。可惜的是中美关系恶化导致没投成。
陆奇早年曾是 Sam Altman 的 mentor。2018 年 5 月陆奇从百度离职后,同年 8 月便接受 Sam Altman 的邀请,出任 YC 中国的创始人兼首席执行官。
2020 年夏天,一些在 OpenAI 的百度前员工说 GPT-3 快训练出来了,当年在百度想做的事情,快在 OpenAI 做成了——维基百科水平的语言模型。那时 GPT-3 还在后训练阶段,距离 ChatGPT 出来还有两年多。
百度美研顶峰时期至少 250 多人,人才密度很高,甚至在 Google DeepMind 都没有过。很多人是冲着吴恩达来的。
后来这里的很多人加入了核心 AI 创业公司,或自己创业,除了前面提到的 OpenAI、Anthropic,也有人参与创办 Adept、xAI,还有一些人成了 Meta FAIR 等实验室的重要成员。
https://t.co/VtsLBtILRZ