AI顶会ICLR最新演讲TheChatGLM39sRoadtoAGI首个中

干货

作者： 黄元帅，成员

北京时间5月9日晚，第十二届国际学习表征会议(International Conference on Learning Representations， ICLR ) 在奥地利维也纳展览会议中心举办。

ICLR 由深度学习巨头、图灵奖获得者Yoshua Bengio 和 Yann LeCun 在2013年牵头发起，与ICML、NeurIPS 并称为机器学习领域水平最高的会议之一。 本届ICLR在参展人数、展览规模、论文数量上均创新高。

作为本场大会的亮点之一，智谱AI与OpenAI、Meta、Google等行业巨头并列参展，智谱GLM大模型技术团队也受邀进行了名为 《The ChatGLM's Road to AGI》 的主旨演讲，回顾了国产自研大模型 ChatGLM 的演进之路，还阐述了GLM大模型面向AGI的三大技术趋势。

这是 中国大模型团队首度 登上 ICLR 主旨演讲环节， 再次证明了其在全球人工智能领域的创新力和影响力。

主旨演讲内容

一、智谱大模型发展路线

ChatGLM的研发始于2019年，2020年底研发GLM预训练架构，2021年训练完成百亿参数模型GLM-10B，同年利用MoE架构成功训练出收敛的万亿稀疏模型，2022年合作研发了中英双语千亿级超大规模预训练模型GLM-130B并开源。迄今为止已公开超过 100个 项目的源代码。

智谱旨在提供一个比ChatGPT更优化的选择。

二、拥抱开源与共享

智谱致力于将其研发的语言模型GLM-130B、ChatGLM-6B等广泛开源，使全球开发者都能利用这些工具进行研究和开发，从而打造开发者生态，实现行业可持续发展。

ChatGLM-6B模型 累计四周 HuggingFace趋势榜第一，下载量达到了 1300万+ 。Github 6w+stars ，显示了其在用户中的受欢迎程度。

2023年底，Hugging Face公布社区最受欢迎的人工智能组织，智谱大模型团队（thukeg）排名第五，是 唯一一个来自亚洲 的机构。

三、多模态学习与视觉语言模型方向

智谱AI不仅在现有技术上进行优化，也在探索AI技术的未来发展方向，尤其是在 模型整合 和 跨模态能力 方面。

其中包括开发视觉语言模型，这种模型能够结合视觉和语言信息，进行更复杂的推理和解答，从而在AI交互中提供更自然和直观的体验。

智谱大模型团队发布的CogVLM，是一个可训练的视觉专家模块，能够将大语言模型和视觉编码器之间的鸿沟填补起来。

四、涌现能力与模型性能

你是否相信大型语言模型LLM有涌现能力？

智谱大模型团队指出，相比模型大小或训练计算量， 智能涌现（Scaling Law）和预训练损失有更加紧密的联系。

五、2024 AGI前瞻

AGI将意味着什么？在未来，大语言模型的不同应用，例如聊天、OCR识别等功能的第一步仍然是模态中的文本。即便未来将不同的模态——文本、图像、视频、音频混在