零一万物YiVL多模态语言模型上线跻身全球开源顶尖水平

大模型： Yi Vision Language （Yi-VL）

1月22日，零一万物Yi系列模型家族迎来新成员， Yi Vision Language（Yi-VL） 多模态语言大模型正式面向全球开源 。凭借卓越的图文理解和对话生成能力， Yi-VL模型在英文数据集MMMU和中文数据集CMMMU上取得了领先成绩，展示了在复杂跨学科任务上的强大实力。

据悉， Yi-VL模型基于Yi语言模型开发，包括 Yi-VL-34B 和 Yi-VL-6B 两个版本。在全新多模态基准测试MMMU中，两个版本均有不俗表现。

MMMU （ 全名Massive Multi-discipline Multi-modal Understanding & Reasoning 大规模多学科多模态理解和推理） 数据集包含了11500个来自六大核心学科 （艺术与设计、商业、科学、健康与医学、人文与社会科学以及技术与工程） 的问题，涉及高度异构图像类型和交织文本图像信息，对模型的高级知觉和推理能力提出了极高要求。令人瞩目的是， Yi-VL-34B在该测试集上以 41.6% 的准确率，成功超越了一系列多模态大模型，仅次于GPT-4V（55.7%），展现出强大的 跨学科知识理解和应用能力。

来源：https://mmmu-benchmark.github.io

同样， 在针对中文场景打造的CMMMU数据集上，Yi-VL模型再次展现 “更懂中国人” 的独特优势。 CMMMU包含了约12000道源自大学考试、测验和教科书的中文多模态问题。其中，GPT-4V在该测试集上的准确率为43.7%， Yi-VL-34B以36.5%的准确率紧随其后， 领先于当前最前沿的开源多模态模型 。

来源： https://cmmmu-benchmark.github.io/

Yi-VL模型在图文对话等多元场景中的表现如何？我们先看两个范例：

可以看到， 基于Yi语言模型的强大文本理解能力，只需对图片进行对齐，就可以得到不错的多模态视觉语言模型 ——这也是Yi-VL模型的核心亮点之一。

Yi-VL模型架构设计和训练方法流程一览

在 架构设计 上， Yi-VL模型基于开源 LLaVA架构，包含三个主要模块：

Vision Transformer（简称ViT） 用于图像编码，使用开源的OpenClip ViT-H/14模型初始化可训练参数，通过学习从大规模"图像-文本"对中提取特征，使模型具备处理和理解图像的能力。

Projection模块 为模型带来了图像特征与文本特征空间对齐的能力。该模块由一个包含层归一化（layer normalizations）的多层感知机（Multilayer Perceptron，简称MLP）构成。这一设计使得模型可以更有效地融合和处理视觉和文本信息，提高了多模态理解和生成的准确度。

Yi-34B-Chat和Yi-6B-Chat 大规模语言模型 的引入为 Yi-VL 提供了强大的语言理解和生成能力。该部分模型借助先进的自然语言处理技术，能够帮助 Yi-VL 深入理解复杂的语言结构，并生成连贯、相关的文本输出。

在 训练方法 上，Yi-VL模型的训练过程分为三个精心设计的阶段，旨在全面提升模型的视觉和语言处理能力。

第一阶段： 零一万物 使用1亿张的“图像-文本”配对数据集训练 ViT 和 Projection 模块 。在这一阶段，图像分辨率被设定为224x224，以增强 ViT 在特定架构中的知识获取能力，同时实现与大型语言模型的高效对齐。

第二阶段： 零一万物 将 ViT 的图像分辨率提升至448x448 ，这一提升让模型更加擅长识别复杂的视觉细节。此阶段使用了约2500万“图像-文本”对。

第三阶段： 零一万物 开放整个模型的参数进行训练，目标是提高模型在多模态聊天互动中的表现 。训练数据涵盖了多样化的数据源，共约100万“图像-文本”对，确保了数据的广泛性和平衡性。

零一万物技术团队同时也验证了可以基于Yi 语言模型强大的语言理解和生成能力，用其他多模态训练方法比如BLIP、Flamingo、EVA等快速训练出能够进行高效图像理解和流畅图文对话的多模态图文模型。Yi系列模型可以作为多模态模型的基座语言模型，给开源社区提供一个新的选项。同时，零一万物多模态团队正在探索从头开始进行多模态预训练，更快接近、超过GPT - 4V，达到世界第一梯队水平。

目前， Yi-VL 模型已在Hugging Face、 ModelScope 平台上向公众开放，用户可通过以下链接亲身体验这款模型在图文对话等多元场景中的优异表现。 欢迎探索Yi-VL多模态语言模型的强大功能，体验前沿的AI技术成果！

Yi-VL 模型地址：

https://huggingface.co/01-ai

https://www.modelscope.cn/organization/01ai