成功在26年前老年机跑大模型

关于：AI PC，编辑：机器之心

让 Llama 2 在 Windows 98 奔腾 2（Pentium II）机器上运行，不但成功了，输出达到 39.31 tok / 秒。

这台 PC 可能比你的年龄还大，要知道它已经是 26 年前的硬件了，配备英特尔奔腾 2 CPU 和 128MB 的内存。

该项目是一个名为 EXO Labs 组织的一次大胆尝试，其证明了如果 Llama 模型能在 26 年前的硬件上跑通，那么它可以在任何地方运行。

为了证明这是真实发生的，EXO Labs 还放出了一段视频。视频显示一台古老的 350 MHz Elonex 奔腾 2 电脑启动 Windows 98 后，然后启动了基于 Andrej Karpathy 开发的 Llama2.c 定制的纯 C 推理引擎，并要求 LLM 生成一个关于 Sleepy Joe 的故事。

令人惊讶的是，它成功了，故事的生成速度非常快。

不过，上述令人大开眼界的壮举远不是 EXO Labs 的最终目标。这个有点神秘的组织于 9 月正式成立，其使命是「让人工智能普及大众」。该组织由牛津大学的研究人员和工程师组成。简而言之，EXO 认为少数几家大公司控制人工智能对文化、真理和我们社会的其他基本方面来说是一件非常糟糕的事情。因此，EXO 希望建立开放的基础设施来训练前沿模型，并使任何人都可以在任何地方运行它们。通过这种方式，普通人几乎可以在任何设备上训练和运行人工智能模型 —— 而这个疯狂的 Windows 98 运行大模型只是一个演示，展示了在（严重）有限的资源下我们可以做些什么。

正如读者所料，EXO 轻而易举地从 eBay 上买到了一台旧的 Windows 98 PC 作为该项目的基础，硬件有了，但仍有许多障碍需要克服。EXO 解释说，将数据导入旧硬盘就是一项巨大的挑战，因此他们只能使用老式 FTP（good old FTP）通过这台古老机器的以太网端口进行文件传输。

然而，更大的挑战是让 Windows 98 编译现代代码。好在 EXO 找到了 Andrej Karpathy 的 llama2.c 项目。借助此资源和旧的 Borland C++ 5.02 IDE 和编译器（加上一些小调整），可以将代码制作成与 Windows 98 兼容的可执行文件并运行。

代码已经开源。

项目地址：https://github.com/exo-explore/llama98.c

为了让大家更好的了解这项研究，EXO Labs 还专门写了一篇博客，通过这篇博客，我们看看具体实现过程。

硬件设置

首先，需要机器本身。我们在 eBay 上以 118.88 英镑的价格找到了一台 Windows 98 奔腾 II 电脑。

我在 eBay 上发现了这个泛黄的主机，一台 Windows 98 奔腾 II，128MB 内存，售价 118.88 英镑。

让它与现代外围设备