统一视觉模态训练的 MLLM 框架, S-lab — LLaVA-OneVision: Easy Visual Task Transfer

type

date

slug

summary

Fast Review

Shot Abstract

LLaVA-OneVision是第一个可以同时在三种重要的计算机视觉场景（单图像、多图像和视频场景）中推动开放式lmm性能边界的单一模型。其是 LLaVA-NeXT 博客系列的集成。通过从图像到视频的任务迁移，展示了强大的视频理解和跨场景能力。

Notes

高效训练，兼顾了模型学习成本和计算效率

Key takeaways

提出了首个能在单图像、多图像和视频场景中同时提升性能的开放LMM。

实现了强大的跨场景任务转移能力，特别是从图像到视频的理解，提出了统一的训练框架，让多场景任务优化能同时实现。

AnyRes、多阶段训练的设计理念。

Summary

总体上，通过AnyRes 策略、多阶段训练策略，来统一了 LLM 对视觉的理解，并且让单图上的理解能力，进一步迁移到多图、视频。提供了一个训练的框架，实现在单图像、多图像和视频任务上的同时优化。

✍️ Notes taken

You can write down the notes from the book.

💡 My thoughts

What do you learn from this book? Just write down.

🔗 Reference

You can list the reference mentioned in the book.

You can also list other reference / url.

blog.csdn.net

My Note

Network Architecture

LLM ： Qwen-2

Vision-encoder : SigLIP

Project : 2-Layer mlp

Visual Representations

在设计视觉输入表示时，优先考虑分辨率的提升会更有效

使用 AnyRes 策略结合池化技术，根据输入图像的特征动态调整分辨率和 tokens 的数量。当得到的视觉 tokens 大于一定的阈值时，使用双线性插值去对其进行下采样。

事先设定好裁切的规格 {1x1, 1x2, 1x3, 1x4, 1x5, 1x6, 2x2, 2x3, and their transpose} ，裁切时选择得到的切片最少的规格。

不同场景间视觉令牌的最大数量设计为相似，保证视觉表示均衡，适应跨场景能力转移。

单图的训练中，尽可能生成到最大的 token 数(选更大的裁切规格，保留更多原图像的分辨率)，这样以保证在多图、视频的处理时，大家都是对长序列视觉 token 进行处理，能保持一致。

Data

Re-Captioned Detailed Description Data : 3.5M ，通过 LLaVA-NeXT-34B 去 re-caption 包括 COCO118K, BLIP558K, and CC3M

Document / OCR Data : 1.1M ，利用来自UReader数据集的文本阅读子集

Chinese and Language Data ： Chinese caption data from GPT-4V API

Training Strategies

三个训练阶段，以实现多模式能力

Stage-1: Language-Image Alignment. The goal is to well align the visual features into the word embedding space of LLMs. LAION-CC-SBU dataset (LCS-558k)

Stage-1.5: High-Quality Knowledge Learning. To strike a balance between compute-efficiency and injecting new knowledge into LMMs, we recommend to consider the high-quality knowledge for LMM learning. The training configuration mirrors the settings used in Stage-2, ensuring consistency and allowing the model to integrate new information seamlessly.

Stage-2: Visual Instruction Tuning. To teach LMM to solve a diverse set of visual task with preferred responces, we organize the instruction data into different groups, described in Section 4.2. The model is scheduled to train on these groups in order.

AI-assistant Summary

帮我总结一下这几个问题：

1. Task：这篇文章所做的任务是什么？ (包括输入、输出，一般用于哪些场景中)

这篇文章的任务是开发一个名为LLaVA-OneVision的大型多模态模型(LMM),用于处理单图像、多图像和视频场景中的各种视觉任务。

原文指出:"We present LLaVA-OneVision, a family of open large multimodal models (LMMs) developed by consolidating our insights into data, models, and visual representations in the LLaVA-NeXT blog series."

输入可以是单张图片、多张图片或视频,输出是对这些视觉内容的理解和描述。这个模型可以用于各种视觉理解任务,如视觉问答、图像描述、视频理解等。

2. Aspect: 这篇文章中，主要面对这个任务，发现之前工作有哪些不足？ (一般在 Abstract 、Introduction中的转折语气后)

文章发现之前的工作主要存在以下不足:

大多数开放研究模型只专注于单一场景(如单图像),很少有模型能同时处理多种视觉场景。

现有的视频LMM虽然在视频理解上表现出色,但往往牺牲了图像性能。

原文指出:"It is rare to have a single open model that reports excellent performance in all three scenarios."

3. Motivation: 在发现已有工作后，该文章作者又是如何考虑的，他们进行改进的出发点，或者说motivation是什么？（主要是一句话说清楚，他们是从哪个角度去思考问题去解决问题的）

作者的出发点是创建一个统一的模型,能够同时处理单图像、多图像和视频场景,并实现跨场景的能力转移。

原文说明:"LLaVA-OneVision aims to fill this gap by demonstrating state-of-the-art performance across a broad range of tasks, and showcasing interesting emerging capabilities through cross-scenario task transfer and composition."

4. Methods: 该文章提出的方法有哪些？主要是哪些方面上的改进，比如是模型结构上的改进，还是训练方法上的改进，或者是使用数据的改进，这些具体改进的策略或者动机是啥？

该文章主要在以下方面进行了改进:

模型架构:使用Qwen-2作为语言模型,SigLIP作为视觉编码器,采用简约设计以有效利用预训练模型的能力。

视觉表示:提出了AnyRes策略,平衡了性能和计算成本。

数据策略:强调高质量数据的重要性,包括重新标注的详细描述数据、文档/OCR数据和中文语言数据。

训练策略:采用三阶段训练 - 语言-图像对齐、高质量知识学习和视觉指令调优。

原文指出:"We consider Qwen-2 as our LLM ... and SigLIP as the visual encoder"和"We recommend an AnyRes strategy with pooling."

5. Experiment: 该文章中是如何进行实验进行测试实验的？他们训练的模型是基于什么模型改进的(重要)，用了哪些数据，用了多少训练资源(用的啥GPU，训练了多久)，测试了哪些数据？他们的实验如何证明了他们方法的有效性？有多有效？还存在哪些缺陷？

实验设置:

基础模型:基于LLaVA-NeXT系列进行改进

数据:使用了约320万单图像样本和160万混合模态(单图像、多图像、视频)样本

训练资源:未明确提及具体GPU和训练时间

测试数据:包括多个单图像、多图像和视频基准测试,如AI2D、ChartQA、DocVQA、MMBench、MMMU等。

有效性:

在多个基准测试中超越了GPT-4V的性能

展示了强大的跨场景任务转移能力,特别是从图像到视频的理解

原文指出:"Our largest model LLaVA-OneVision-72B yields superior performance between GPT-4V and GPT-4o on most benchmarks."

缺陷: 在复杂任务(如视觉聊天场景)上与商业模型仍有差距。原文提到:"However, a relatively larger gap remains in complex tasks such as visual chat scenarios, we leave it as future research in stronger LLMs, larger training data and better preference learning."

请你帮我根据这篇论文的内容，帮我回答出这些问题，这些问题是文章中都会提到的，你最好的回答方式是，引用他文章的原话，再加上自己的补充来回答这些问题。

6. Summary : 帮我根据我的总结，提炼一下这篇论文，提取成合适的总结格式，这个也需要请你帮我想一个好的格式。

任务：

开发一个名为LLaVA-OneVision的大型多模态模型，能够同时处理单图像、多图像和视频场景的各种视觉任务。

挑战：

现有开放研究模型大多只专注于单一视觉场景。

视频LMM虽然在视频理解上表现出色，但往往牺牲了图像性能。

缺乏能在所有三种场景（单图像、多图像、视频）中都表现优秀的单一开放模型。

思路：

创建一个统一的模型，通过跨场景的能力转移，实现在单图像、多图像和视频任务上的同时优化。

核心方法：

采用Qwen-2作为语言模型，SigLIP作为视觉编码器的简约架构设计。

提出AnyRes策略，平衡视觉表示的性能和计算成本。

强调高质量数据的使用，包括重新标注的详细描述、文档/OCR和中文语言数据。

采用三阶段训练策略：语言-图像对齐、高质量知识学习和视觉指令调优。

实验情况：

使用约320万单图像样本和160万混合模态样本进行训练。

在多个基准测试中超越了GPT-4V的性能。

展示了强大的跨场景任务转移能力，特别是从图像到视频的理解。

在复杂任务（如视觉聊天场景）上与商业模型仍有一定差距。

主要贡献：

提出了首个能在单图像、多图像和视频场景中同时提升性能的开放LMM。

实现了强大的跨场景任务转移能力，特别是从图像到视频的理解。

开源了模型、代码、数据和演示，推动了开放研究社区的发展。

在多个视觉理解基准测试中取得了优秀的表现，部分超越了GPT-4V。