Ilya Sutskever 曾断言,只要读懂那 30 篇奠基论文,就能掌握人工智能 90% 的精髓。但面对枯燥的数学公式,大多数人很难将其转化为可运行的代码。
最近在 GitHub 上发现 Sutskever 30 这个开源项目,用纯 NumPy 实现了 Ilya Sutskever 推荐的 30 篇奠基性论文,全部完成。
每个实现都不依赖深度学习框架,只用 NumPy 从零构建,配合 Jupyter Notebook 交互式学习,还自带合成数据可以直接运行。
GitHub:https://t.co/IZyKQ8I7i2
涵盖从 RNN、LSTM 到 Transformer、ResNet 的核心架构演进,包括注意力机制、残差连接、图神经网络等关键技术,还有 VAE、神经图灵机、CTC 损失等高级主题。
值得一提,项目还实现了 Kolmogorov 复杂度、MDL 原理、通用人工智能(AIXI)等理论基础,以及 RAG、长文本分析等现代应用。
如果你想从底层理解深度学习的核心机制,而不是只会调用框架 API,这个项目值得收藏学习。
点击图片查看原图