国外Karpathy大神4小时AI大课从零构建GPT2

编辑：桃子，来源：新智元

【导读】 距上次Karpathy AI大课更新之后，又有了1个多月的时间。这次他带了超详细的4小时课程——从零开始实现1.24亿参数规模的GPT-2模型。

大神Karpathy新一期AI大课又上线了。

这一次，他讲的内容是——从头开始实现124M大小的GPT-2模型，足足有4个小时。

Karpathy对这个视频2个字总结：全面。

我们从空文件开始，以GPT-2（124M）模型结束。

也就是说，这就是手把手教程，就连AI小白看后，都会搭建GPT-2了。

Karpathy称这是从0到英雄（Zero To Hero）的系列中最新的视频。

翻看以往Zero To Hero系列中的视频，最长的也不过2小时25分，这次4小时完全创下了最新记录。

帖子中，他highlight了最新视频中的一些重点内容：

- 我们首先构建GPT-2神经网络

- 然后对其进行优化，以实现快速训练

- 参考GPT-2和GPT-3论文，设置训练运行优化和超参数

- 启动模型评估

- 祈祷一切顺利，上床睡觉

- 等到第二天早上，便可查看模型的结果，欣赏模型生成的有趣输出。

发布短短的几个小时，视频已经有了11万次播放量。

Karpathy表示，这次「过夜」的训练结果，表现甚至接近GPT-3（124M）模型的水平。

顺便提一句，Karpathy自己做的封面配图，也很有趣，直接把英伟达GPU点起来了。

网友在下面评论道，Karpathy就是我的神！

华裔天才少年Alexandr Wang称，「你的视频就相当于流行音乐明星发布的新单曲」。

「我的生活很简单，Karpathy上线GPT-2『大片』，看就完事儿了」。

视频下方，许多网友纷纷为这个免费课程「打赏」。

接下来，让我们