非常建议每一个选择计算机系的大学生,在大学时期将cs336啃完,不开中文字幕,只开英文字幕。啃完之后,你对LLM的理解和英语能力至少在国内前百分之1%。
这门课超过国内任何一所大学里面计算机的课程。
《Stanford CS336: Language Modeling from Scratch》 是一门斯坦福大学计算机科学系的课程,这门课每一年春季都会有,每一年都会在油管免费开放。
里面的内容非常前沿而且实用,目前油管上的版本是25年的版本,第一节课提到的模型已经是GPT-4。而与此同时,国内的计算机课程还在用着至少5年前的PPT。
依稀记得,我的第一节C语言课程,PPT的里面的演示系统是XP...
啃完CS336,你会收获LLM的全栈技术栈,从数据收集,清洗,模型训练,优化,评估到部署,Transforemer架构,注意力机制,各种目前最新的机器学习训练方法
这门课的目标就是从头让你手搓一个LLM,亲手实现完整的pipeline。
两位主要讲师:
1、Percy Liang
MIT 本科 + MEng,UC Berkeley 博士(2011)。曾在 Google 做 post-doc,后加入 Stanford 任教。
2、Tatsu
Harvard 本科(统计与数学),MIT 博士(co-advised by Tommi Jaakkola 和 David Gifford),之后在 Stanford 做 Percy Liang 和 John Duchi 的 post-doc
耐心啃完这个,所有计算机课程几乎都不需要上了...因为在过程中必然会遇到很多不懂的点,边学边查,然后顺带就把学校关于机器学习和深度学习的专业课给学完了。
如果刚上大一,可以先看cs50,然后再到cs336,先稍微打点计算机的基础。
与此同时,一定要把线性代数学好,将高数丢了都要把线性代数学好,线性代数是机器学习的底层DNA。
如果线性代数没有学好,会比较难理解神经网络,相当于没学好加减乘除就想去求导。