对谈陈天奇教授从0到1相信有趣的事

编者荐语：

—— 陈天奇教授

机器学习系和计算机系

卡内基梅隆大学

以下文章来源于緑洲资本 Vitalbridge ，作者参赞生命力

緑洲资本 Vitalbridge .

参赞生命力

这次，我们邀请到了 TVM、MXNet、XGBoost 作者，CMU 机器学习和计算机系助理教授陈天奇，他的工作，让 各类硬件上原生部署任意大型语言模型成为可能，算力，还是问题么？Enjoy

绿洲：请您先聊聊最近研究的方向，或者感兴趣的工作吧。

陈教授： 我的研究风格是问题导向。过去 5 年我们一直致力于解决的问题是如何让机器学习面向更多人群，同时可以在更多设备环境下运行。我们最近的研究重点，一是集中在机器学习系统，不光要解决算法，还要让系统工程本身可以更快速迭代；二是做更多开源软件，令我们的工作可以在开源社区，让大家直接尝试我们的研究成果，并通过这个方式获得工业界和其他领域的反馈。

随着 Generative AI 和大模型的兴起，我们也希望结合大模型和过往的积淀，探索一些新的方向。

大模型部署最近的进展也挺多。机器学习编译也从之前鲜受关注到目前的 PyTorch，各大厂商都开始逐渐尝试这个方向，整个领域处于不可预料的状态。就好像当年深度学习刚起来，大数据的浪潮似乎就要过去，不知如何是好的状态。如今又是一个不确定的时代，却是一件好事。

绿洲：大语言模型出来之后，您最新的工作主要是什么？

陈教授： 过去 5 年有一个集中的方向是是机器学习编译。机器学习工程会成为越来越大的问题。为了在更高效的设备上运行，我们需要建设可重复使用的架构，而不需要在每个硬件平台上重做系统工程。

针对大语言模型内存损耗大等特性，我们最近一个工作的核心就是如何利用机器学习编译技术，令机器学习在部署、训练和本身的支持都可以变快。基于这个工作，MAC 的一系列项目，令我们可以将一些语言模型部署在手机端，移动端，或者通过 WebAssembly 和 WebGPU 技术部署在浏览器中，同时也可以在各类显卡，包括英伟达，AMD 和苹果上都跑得更快。

当语言模型可以在多设备上完成部署，就可以基于这项技术，打造更多开放的解决方案，让部署开放模型的代价可以降低。

绿洲：您做过很多有趣的开源工作，不论早期的 Apache MXNet，到  XGBoost、TVM，您是如何把这些工作串连起来的？机器学习十几年的发展，从算法和系统层面，您有些什么感受？

陈教授： 机器学习在过去几年发生了巨大的变化。从当初的算法建模为主，推导支持向量机和线性模型；到大数据落地后被应用到广告和推荐，开始思考机器学习大规模化；深度学习时代开始后，数据和算力开始进入大家的考量。这就意味着需要搭建良好的机器学习系统不可或缺。这也是为什么我开始转向机器学习系统领域的研究，目标也是算法、算力和数据的综合考量，在这个过程中寻找解决问题的动力，真正推动机器学习领域的前进。

绿洲：英伟达在大语言模型的发展下获益明显，您的工作势必让硬件竞争更多元化。如何看待类似英伟达公司和开源解决方案这两种路径的发展关系呢？

陈教授： 我认为两者不是竞争关系，我们也做很多英伟达显卡的优化工作。我们的这套解决方案很多的时候是可以利用厂商原生库的。英伟达现在的确在多方面都处于领先地位，我们没有打算一定要超过英伟达，英伟达也不是在所有场景下都完美无瑕。我们感兴趣的是如何让整个领域更快地向前跑，而无论推动的人是谁。

所以这不是一个必须 A 和 B 之间比较的关系，在算力依然处于相对紧缺的阶段，拥有更多可能性让大家