InternLM-XComposer-2.5：支持长上下文输入和输出的多功能大视觉语言模型

摘要

我们推出了 InternLM-XComposer-2.5 (IXC-2.5)，这是一种支持长上下文输入和输出的多功能大视觉语言模型。 IXC-2.5在各种文本图像理解和合成应用中表现出色，仅用7B大语言模型后端即可实现GPT-4V级别的能力。 它经过 24K 交错图像文本上下文的训练，可以通过 RoPE 外推无缝扩展到 96K 长上下文。 这种长上下文功能使 IXC-2.5 在需要大量输入和输出上下文的任务中表现出色。 与之前的2.0版本相比，InternLM-XComposer-2.5在视觉语言理解方面有了三大升级：（1）超高分辨率理解，（2）细粒度视频理解，（3）多回合多图像对话。 除了理解之外，IXC-2.5 还扩展到两个引人注目的应用程序，使用额外的 LoRA 参数进行文本图像合成：(1) 制作网页和 (2) 撰写高质量的文本图像文章。 IXC-2.5 已在 28 个基准测试中进行了评估，在 16 个基准测试中优于现有的开源最先进模型。 它还在 16 个关键任务上超越或与 GPT-4V 和 Gemini Pro 紧密竞争。 InternLM-XComposer-2.5 可在 https://github.com/InternLM/InternLM-XComposer 上公开获取。

1简介

图1： InternLM-XComposer-2.5 (IXC-2.5) 在不同领域的基准测试中的性能概述，包括视频基准、结构高分辨率基准、通用视觉 QA 基准、多真实多图像基准和网页制作基准。 IXC-2.5 基于 InternLM2-7B [143] 在 15 个基准测试中匹配甚至超过 GPT-4V [112] 和 Gemini Pro [142]。 详情请参阅表3、4、5。

大型语言模型 (大语言模型) [111, 29, 146, 147, 55, 121] 的最新进展激发了人们对大型视觉语言模型 (LVLM) 开发的兴趣[112 、41、183、31、173、84]。 GPT-4 [112]、Gemini Pro 1.5 [41] 和 Claude 3 [3] 等领先范例已经取得了相当大的成功，并显着扩大了大语言模型的应用范围。 开源 LVLM 也在快速开发，并且可以在多个基准测试中与专有 API 竞争。 然而，这些开源模型在多功能性方面仍然落后于闭源领先范例。 他们缺乏执行各种视觉语言理解和写作任务的能力，这主要是由于训练语料库的多样性有限以及管理长上下文输入和输出方面的挑战。

为了进一步缩小专有 API [112, 41] 和开源大视觉语言模型之间的差距，我们推出了 InternLM-XComposer-2.5 (IXC-2.5)，这是一种支持长上下文的多功能 LVLM具有不同理解和组合能力的输入和输出。 IXC-2.5 优于现有开源 LVLM，具有两个优势。 (1) 多功能性：IXC-2.5支持与理解和写作相关的广泛任务，例如自由格式的文本图像对话、OCR、视频理解、插图文章写作和网页制作。 (2) 输入和输出的长上下文能力： 它使用 24K 交错的图像文本数据进行原生训练，其上下文窗口可以通过位置编码外推[94]扩展到 96K，从而支持长期的人机交互和内容创建。

受益于长上下文能力，与之前的2.0版本[33]相比，IXC-2.5升级了三个理解能力： (1)超高分辨率理解： IXC-2.5 使用原生 560 × 560 ViT 视觉编码器增强了 IXC2-4KHD [34] 中提出的动态分辨率解决方案，支持任何长宽比的高分辨率图像。 (2)细粒度的视频理解： IXC-2.5将视频视为由数十至数百帧组成的超高分辨率合成图片，使其能够通过密集采样和每帧更高分辨率来捕捉精细细节。 (3)多轮多图对话： IXC-2.5支持自由形式的多轮多图像对话，使其能够在多轮对话中自然地与人类互动。

除了理解之外，IXC-2.5 还通过结合用于文本图像合成的额外 LoRA 参数来支持两个值得注意的应用： (1)制作网页： IXC-2.5 可轻松应用于通过按照文本图像指令编写源代码（HTML、CSS 和 JavaScript）来创建网页。 (2) 撰写高质量的图文文章： 与 IXC-2 相比，IXC-2.5 利用专门设计的思想链 (CoT) [153] 和直接偏好优化 (DPO) [124] 技术，显着提高了提高其书面内容的质量。

我们通过 28 个基准测试评估了 InternLM-XComposer-2.5 (IXC-2.5) 的多功能性，其中包括 5 个视频基准测试 [71, 181, 42, 38, 88]、9 个结构性高基准测试- 分辨率基准[107, 106, 108, 133, 89, 139, 117, 140, 20]，十二个通用VQA​​基准[18, 100, 166, 61, 40, 87, 66, 164, 44, 155]，一项多真多图像基准测试 [92]，以及一项网页制作基准测试 [131]。 与之前的开源 LVLM 相比，IXC-2.5 在基于 InternLM2-7B [143] 后端的 28 个基准测试中的 16 个中取得了最先进的结果。 如图1所示，IXC-2.5的性能匹配甚至超越专有API，例如.、GPT-4V [ 112] 和 Gemini Pro [41]，在 16 个基准测试中。

IXC-2.5 Web 演示现在支持使用开源工具[123, 179]进行音频输入和输出。 您可以在 https://huggingface.co/spaces/Willow123/InternLM-XComposer 尝试。

图2： IXC-2.5的功能：4K分辨率图像聊天和多轮多图像对话。

图3： IXC-2.5 的功能：视频聊天、恢复到主页和指令感知网页生成。

图4： IXC-2.5 的功能：屏幕截图到代码和文章撰写。

2相关作品

用于文本-图像对话的 LVLM。 大语言模型[12, 115, 111, 29, 60, 146, 147, 55, 143, 168, 8, 121, 13]因其令人印象深刻的性能而受到广泛关注语言理解和生成的表现。 大型视觉语言模型 (LVLM) [112, 24, 22, 23, 35, 41, 183, 31, 173, 9, 68, 118, 159, 5, 34, 78]大语言模型与视觉编码器集成开发[122, 170, 138, 169, 113, 167, 91, 25, 17, 79, 6, 150, 33, 14, 93, 26, 176] 扩展理解视觉内容的能力，实现文本图像对话的应用。 大多数现有的 LVLM 都是针对单图像多轮对话进行训练的，而一些作品[2,6,178,136,78,56]具有理解多图像输入的能力。 然而，IXC-2.5专注于提供自由形式的长上下文多轮多图像交互体验[92,86,103]，这一点尚未得到解决。

用于高分辨率图像分析的 LVLM。 理解高分辨率图像具有重要的潜在应用，例如 OCR 和文档/图表分析，这在 LVLM 领域引起了越来越多的关注。 在最近的工作中，有两种主要策略来实现高分辨率理解：（1）高分辨率（HR）视觉编码器[102,151,47,74,141,177]直接支持更高的分辨率分辨率图像。 （2）补丁化：将高分辨率图像裁剪成补丁[76,90,157,158,49,79,67,79,85,158,34]。 每个补丁都使用低分辨率视觉编码器进行处理，例如。，CLIP [122]，并且补丁的视觉嵌入进一步连接作为输入大语言模型后端。 IXC-4KHD [34] 首次将开源 LVLM 支持的分辨率扩展到 4K 及以上。 IXC-2.5 将这两种解决方案与经过 560x560 分辨率训练的视觉编码器和 IXC2-4KHD [34] 中提出的动态分辨率解决方案相结合，从而实现了进一步的改进。

用于视频理解的 LVLM。 除了图像理解之外，LVLM 领域在视频分析方面也取得了新进展[70,110,88,37,39,134,135]。 为了处理复杂的视频输入，现有的作品使用稀疏采样或时间池[77,104,101,52,162]，压缩视频标记[69,172,57,154,73, 120]，记忆库[134,45,135]，以及作为视频理解桥梁的语言[59,54,171]。 除了这些特定于视频的设计之外，还可以制定视频分析来理解由采样视频帧[63,156,174]组成的高分辨率合成图片。 受益于理解超高分辨率图像和长上下文的能力，IXC-2.5 在 LVLM 的各种视频基准测试中表现出强大的性能。

网页生成。 Pix2Code [10] 提出了一种利用 CNN 和 RNN 进行 UI 到代码转换的端到端解决方案。 当应用于现实世界的 UI 时，这种方法可以应对复杂的视觉编码和广泛的文本解码带来的挑战。 在最近的进展中，Sightseer [64]、DCGen [148] 和 Design2Code [131] 等作品都采用了大视觉-在合成屏幕截图-HTML 配对数据集（例如 WebSight v0.1 或 v0.2 [64])上训练的语言模型，以促进 HTML 代码生成。 然而，合成的网页数据集因其简单性和缺乏多样性而受到批评。 这些研究通常集中在屏幕截图/草图到代码任务上。 相比之下，我们的 IXC-2.5 模型扩展了这些功能，包括屏幕截图到代码、指令感知网页生成和恢复到主页任务。 IXC-2.5 结合使用高质量的合成数据和真实网络数据进行训练。 此外，IXC-2.5能够熟练生成JavaScript代码，从而能够开发交互式前端网页。

偏好对齐。 人类反馈强化学习 (RLHF) [115] 和人工智能反馈强化学习 (RLAIF) [7] 在跨不同领域调整大语言模型方面表现出了巨大的前景，包括提高逻辑推理能力并生成有用且无害的输出。 典型的方法包括使用人类或人工智能偏好数据训练奖励模型，并使用近端策略优化 (PPO)[126] 等优化算法微调大语言模型，以最大化预期奖励函数。 或者，直接偏好优化 (DPO) [124] 和以下工作 [116, 36] 已成为隐式表示奖励分数并消除对单独的奖励模型。 基于 RLHF 和 RLAIF 在大语言模型中的成功，最近的研究成功地将 RLHF/RLAIF 算法扩展到多模态 LVLM [72, 163, 182, 180, 119] 以减少幻觉。 在这项工作中，我们研究了偏好对齐技术在文本图像文章合成任务中的应用，重点是生成高质量且稳定的响应结果。

3方法

图5： 框架 IXC-2.5支持多模式输入，包括文本、单/多图像和视频。

3.1模型架构

InternLM-XComposer-2.5（以下简称IXC-2.5）的模型架构主要遵循InternLM-XComposer2 [33]和InternLM-XComposer2-4KHD [34]<的设计/t1>（为简单起见，IXC2 和 IXC2-4KHD），包括轻量级视觉编码器 OpenAI ViT-L/14 [122]、大型语言模型 InternLM2-7B [13] 和 Partial LoRA [33] 以实现高效对齐。 我们建议读者阅读 IXC2 和 IXC2-4KHD 论文以了解更多详细信息。

3.2 多模态输入

我们的 IXC-2.5 支持多种输入方式，包括文本、单/多图像和视频。 如图5所示，对于任意分辨率和长宽比的视频和多幅图像均采用统一动态图像分区策略。

图像处理。 我们主要遵循 IXC2-4KHD [34] 中使用的动态图像分区和全局本地格式设计，并进行一些修改。 对于视觉编码器，我们重用了IXC2中使用的$490\times 490$分辨率的ViT，并进一步将其分辨率提高到$560\times 560$，使得每个子图像有400个token。

对于高分辨率策略，我们将 IXC-4KHD 中使用的不同策略统一为缩放身份策略。 在给定最大分区编号 $\mathscr{H}$ 的情况下，大小为 $[h,w]$ 的图像 $x$ 被调整大小并填充为大小为 $[p_h\times 560,p_w\times 560]$ 的新图像 $\widehat{x}$ 。 此过程受到以下限制：

$p_{w1}$ $\times \lceil p_{w1}\times h/w\rceil \le \mathscr{H};$ (1)

$p_{w2}$ $=\lceil w\ast s/560\rceil$ (2)

$p_w$ $=min(p_{w1},p_{w2});p_h=\lceil p_w\times h/w\rceil$ (3)

其中 $s$ 是比例因子，$p_w$ 和 $p_h$ 分别表示每行和每列中的面片数量。

对于多图像输入，我们为每个图像分配一个索引，例如 IMAGE i$>$、$i\in \{1,2,3,\mathrm{\dots }\}$ 并格式化图像和交错格式的文本。

视频处理。 我们从给定视频中采样帧，并将它们沿着帧的短边连接起来，从而产生高分辨率图像。 帧索引也被写入图像中以提供时间关系。

音频处理。 IXC-2.5 Web 演示支持使用开源工具的音频输入和输出。 对于音频输入，我们使用 Whisper [123] 将音频转录为文本。 对于音频输出，我们利用 MeloTTS [179] 将文本转换回音频。

3.3预训练

Task	Dataset
General Semantic Alignment	ShareGPT4V-PT [17], COCO [21], Nocaps [1], TextCaps [132], LAION [125], SBU [114], CC 3M [129] ALLaVA [15]
World Knowledge Alignment	Concept Data [173]
Vision Capability Enhancement	WanJuan [46], Flicker[160], MMC-Inst[82], RCTW-17[130], CTW[165], LSVT[137], ReCTs[175], ArT[28]

表1： 用于预训练的数据集. 为了这三个目标，数据是从不同来源收集的。

在预训练阶段，大语言模型 (InternLM2-7B [143]) 被冻结，同时视觉编码器和 Partial LoRA [33] 进行微调将视觉标记与大语言模型对齐。 预训练使用的数据如表1所示。

在实践中，我们采用 IXC2 的 CLIP ViT-L-14-490 [122] 作为视觉编码器，并将其分辨率进一步提高到 $560\times 560$。 对于统一动态映像分区策略[34]，我们设置了相关的最大数量$\mathscr{H}=12$。 对于部分LoRA [33]，我们为大语言模型解码器块中的所有线性层设置等级$256$。 我们的训练过程涉及 4096 的批量大小，跨越 2 个时期。 在训练步骤的第一个 $1\%$ 内，学习率线性增加到 $2\times {10}^{-4}$。 此后，它根据余弦衰减策略减小到 $0$。 为了保留视觉编码器的原始知识，我们应用分层学习率（LLDR）衰减策略[33]，并将衰减因子设置为$0.90$。

3.4 监督微调

Task	Dataset
Caption	ShareGPT4V [17], COCO [21], Nocaps [1]
General QA	VQAv2 [4], GQA [53], OK-VQA [105]
	VD [32], RD [16], VSR [81], ALLaVA-QA [15]
Multi-Turn QA	MMDU [92]
Science QA	AI2D [61], SQA [98], TQA [62], IconQA [97]
Chart QA	DVQA [58], ChartQA [106], ChartQA-AUG [106]
Math QA	MathQA [161], Geometry3K [96], TabMWP [99],
	CLEVR-MATH [80], Super [75]
World Knowledge QA	A-OKVQA [127], KVQA [128], ViQuAE [65]
OCR QA	TextVQA [133], OCR-VQA [109], ST-VQA [11]
HD-OCR QA	InfoVQA[108], DocVQA [107], TabFact [20],
	WTQ [117], DeepForm [139], Visual MRC [140]
Video	ShareGPT4Video [19], ActivityNet [37]
Conversation	LLaVA-150k [84], LVIS-Instruct4V [149]
	ShareGPT-en&zh [27], InternLM-Chat [143]

表2： 用于监督微调的数据集. 我们从不同来源收集数据，为模型赋予不同的功能。

我们使用表2中列出的数据来模拟模型。 统一动态图像分区策略的最大数量$\mathscr{H}$为$24$，以处理极大的图像和视频。 对于视频数据集，IXC-2.5 使用最多 64 帧连接的大图像进行训练。 最大的训练上下文设置为 24,000 上下文窗口大小，其中 MMDU [92] 数据集可以实现此限制。 在实践中，我们通过 4000 个步骤联合训练批量大小为 2048 的所有组件。 来自多个源的数据以加权方式采样，权重基于每个源的数据数量。 最大学习率设置为$5\times {10}^{-5}$，每个组件都有自己独特的学习策略。 对于视觉编码器，我们将 LLDR 训练设置为 $0.9$，这与预策略一致。 对于大语言模型，我们采用固定的学习率比例因子$0.2$。 这减缓了大语言模型的更新速度，在保留其原有能力和与视觉知识保持一致之间取得了平衡。

3.5 网页生成

我们增强了 IXC-2.5 的功能，包括自动网页生成。 具体来说，IXC-2.5 现在能够根据视觉屏幕截图、一组自由格式指令或简历文档形式的输入，利用 HTML、CSS 和 JavaScript 自主构建网页。 当前的开源通用大型语言模型在生成 HTML 和 CSS 方面经常表现出相对于其自然语言生成能力而言的次优性能。 为了解决这个限制，我们建议使用 WebSight v0.1/v0.2 [64] 和 Stack v2 [95] 中的广泛数据集来训练屏幕截图到代码任务>。 随后，我们使用一个更小的、精心制作的数据集来构建模型，该数据集由指令感知网页生成和个人页面生成示例组成。

屏幕截图到代码。 除了 WebSight [64] 数据集之外，我们还对 Stack v2 [95] 数据集中的 HTML 和 CSS 代码进行预处理，以方便屏幕截图到代码的训练。 最初，我们将 CSS 和 HTML 代码合并到一个文件中。 随后，我们删除所有评论、JavaScript 代码和外部链接。 此外，我们消除了 HTML 代码未引用的任何 CSS 样式。 我们将所有文件转换为屏幕截图，随后丢弃那些未成功渲染的文件。 然后使用 IXC2-4KHD [34] 模型处理剩余的屏幕截图，以评估网页的质量。 排除低质量网页后，我们保留了最后一组剩余的三个约25万个高质量网页。

我们利用上述三个数据集对 LoRA 模型进行训练。 LoRA 等级设置为 512。 训练协议采用的批量大小为 512，并在单个 epoch 上执行。 最初，学习率在训练迭代的第一个 $1\%$ 内线性增加到 $1\times {10}^{-4}$。 随后，学习率按照余弦衰减时间表降低至 $0$。

指令感知网页生成。 大型语言模型的一个关键属性在于它们遵循人类指令的能力。 为了促进基于自由格式指令的网页生成，我们建议通过查询闭源大语言模型来构造数据。 具体来说，我们利用 GPT-4 生成用于网页创建的各种指令和概念，包括类型、样式和布局等元素。 随后，利用这些指令来查询 Claude-3-sonnet [3] 以了解实际的网页生成过程。 这种方法产生了 18,000 个高质量、具有指令感知的样本。 此外，考虑到其简洁性，我们使用 Tailwind CSS 而不是传统 CSS。

恢复到主页。 除了指令感知网页生成之外，我们还引入了更实际的任务。 具体来说，给定一份简历，该模型旨在生成个人主页。 该主页不仅封装了简历中的信息，而且以结构良好且视觉上吸引人的格式呈现，从而改善了内容组织和美观布局。 为了生成相应的数据集，我们提出了一个想法-简历-主页数据生成管道。 最初，我们利用 GPT-4 来制作适合不同角色（例如研究人员、学生和工程师）的简历创意。 GPT-4 的任务是根据提供的想法以 Markdown 格式生成这些简历。 获得生成的简历后，我们会提示 Claude-3-sonnet [3] 根据这些简历创建相应的主页。 为了增强这些网页的交互性，还利用 Claude-3-sonnet 基于 HTML 代码生成 JavaScript 事件。 我们总共构建了一个包含 2,000 个样本的数据集。

在构建用于指令感知网页生成和恢复主页的数据集后，我们随后对 LoRA 模型进行了 10 个周期的微调。 所有其他实验设置均与屏幕截图到代码训练阶段采用的设置保持一致。

3.6文章撰写

生成高质量的文本图像文章(例如.、诗歌、小说、短篇故事和散文）是人工智能助手的一项重要能力，在日常生活中具有多种应用，包括教育和娱乐。 基于3.4节中的IXC-2.5 SFT模型$\pi$，我们增强了生成高质量文本图像文章的创意写作能力。 然而，收集高质量的文本图像文章是一项罕见且昂贵的工作。 在大多数情况下，对稀缺指令数据进行直接微调可能会导致 LVLM 的响应不稳定。 为了克服这些挑战，我们提出了一个可扩展的管道，集成了监督微调、奖励建模、偏好数据收集和 DPO 对齐，以生成高质量和稳定的文章。

监督微调。 我们从 SFT 模型 $\pi$(3.4 节）和来自 IXC2 [33] 的 5,000 个指令调优数据样本 $𝒟$ 的集合开始t4>，专注于文章写作。 由于指令数据规模有限，我们使用SFT模型，利用思想链（CoT）技术重写原始提示[152]，生成分步提示将指令调整数据补充为扩充数据${𝒟}^{\ast }$。 我们观察到，在使用这些增强提示时，SFT 模型在生成长格式响应方面更有效。 然后，我们通过 LoRA [51] 在增强指令调整数据上训练初始模型 $\pi$，等级为 $256$ 并得到模型 ${\pi }_{\text{ref}}$ 建立对齐管道的起点。

	MVBench	MLVU	MME	MMB∗1	Temp∗2	Doc	Chart	Info	Text	OCR	WTQ	Deep	Visual	Tab
			Video	Video	Compass	VQA	QA	VQA	VQA	Bench		Form	MRC	Fact
Open-Source	VideoChat	InternVL	LIVA	InternVL	Qwen-VL	InternVL	InternVL	InternVL	InternVL	GLM-4v	DocOwl	DocOwl	DocOwl	DocOwl
Previous SOTA	2-7B[71]	1.5-26B[26]	34B[78]	1.5-26B[26]	7B[6]	1.5-26B[26]	1.5-26B[26]	1.5-26B[26]	1.5-26B[26]	9B[43]	1.5-8B[50]	1.5-8B[50]	1.5-8B[50]	1.5-8B[50]
Performance	60.4	50.4	59.0	42.0	58.4	90.9	83.8	72.5	80.6	77.6	40.6	68.8	246.4	80.2
Closed-source API
GPT-4V [112]	43.5	49.2	59.9	56.0	—	88.4	78.5	75.1	78.0	51.6	—	—	—	—
Gemini-Pro [142]	—	—	75.0	49.3	70.6	88.1	74.1	75.2	74.6	68.0	—	—	—	—
IXC-2.5-7B	69.1	58.8	55.8	46.9	67.1	90.9	82.2	69.9	78.2	69.0	53.6	71.2	307.5	85.2

表3： 与闭源 API 和之前的开源 SOTA 的比较 关于视频基准和结构高分辨率基准。 最好的结果是粗体，次好的结果是下划线。 ^∗1 为了更容易理解，我们将分数从 $0\sim 3$ 缩放到 $0\sim 100$。 ^∗2 我们报告了 TempCompass 的确定性部分（MCQA、Y/N、标题匹配），因为使用 GPT-3.5 的评估不稳定。

	MMDU	MMStar	RealWQA	MathVista	AI2D	MMMU	MME	MMB	MMBCN	MMB1.1	SEEDI	MM-Vet	HallB
Open-Source	LLaVa1.6	InternVL	WeMM	WeMM	InternVL	360VL	InternVL	InternVL1.5	InternVL1.5	InternVL1.5	WeMM	GLM-4v	WeMM
Previous SOTA	8B[83]	1.5-26B[26]	8B[145]	8B[145]	1.5-26B[26]	70B[144]	1.5-26B[26]	1.5-26B[26]	1.5-26B[26]	1.5-26B[26]	8B[145]	14B[43]	8B[145]
Performance	42.8	57.1	68.1	54.9	80.6	53.4	2,189.6	82.3	80.7	79.7	75.9	58.0	47.5
Closed-source API
GPT-4V [112]	66.3	57.1	68.0	47.8	75.5	56.8	1,926.5	81.3	80.2	79.8	69.1	56.8	46.5
Gemini-Pro [142]	—	42.6	64.1	45.8	70.2	47.9	1,933.3	73.9	74.3	73.9	70.7	59.2	45.2
IXC-2.5-7B	56.6	59.9	67.8	63.8	81.5	42.9	2,229.0	82.2	80.8	79.4	75.4	51.7	42.4

表4： 与闭源 API 和之前的开源 SOTA 的比较 多轮多图像对话和通用视觉 QA 基准。 最好的结果是粗体，次好的结果是下划线。

偏好数据收集。 我们使用微调模型${\pi }_{\text{ref}}$，使用不同的随机种子，为增强指令调整数据${𝒟}^{\ast }$中的每个提示生成不同的响应。 这会产生 80,000 个提示-响应对的集合。 接下来，我们使用 GPT-4o 模型来标记 2,000 个选择或拒绝决策的响应，并给出原因，作为我们的奖励建模数据。 然后，我们在奖励建模数据上训练奖励模型 ${\pi }_{\text{rm}}$，共享与 ${\pi }_{\text{ref}}$ 相同的架构。 奖励模型用于对剩余的提示响应对做出选择或拒绝的预测。 然后，使用这些选定的响应来构造数据对 ${𝒟}^p=\{x,y_w,y_l\}$，而 $x$、$y_w$ 和 $y_l$ 引用提示、选定的响应和拒绝响应，分别。 最终，我们总共获得了 30,000 个 DPO [124] 对齐的偏好数据 ${𝒟}^p$。

DPO 对齐。 我们使用 DPO 算法根据偏好数据 ${𝒟}^p$ 更新目标策略上的 SFT 模型 ${\pi }_{\text{ref}}$：

${ℒ}_{\text{DPO}}({\pi }_{\theta },{\pi }_{\text{ref}})={𝔼}_{x,y_w,y_l\sim {𝒟}^p}$ (4)

$[-\log \sigma (\beta \log ({\displaystyle \frac{{\pi }_{\theta }(y_w|x)}{{\pi }_{\text{ref}}(y_w|x)}})-\beta \log ({\displaystyle \frac{{\pi }_{\theta }(y_l|x)}{{\pi }_{\text{ref}}(y_l|x)}}))].$

在实践中，我们使用等级为$256$的LoRA来得到DPO模型${\pi }_{\theta }$。 我们观察到，我们的模型倾向于优先考虑最小化不首选响应 $y_l$ 的可能性，而不是最大化首选响应 $y_w$ 的可能性，以避免生成不适当或低质量的内容。

总之，我们的可扩展管道由三个主要组件组成。 首先，我们通过将原始提示重写为增强提示来解决有限指令调整数据的挑战。 接下来，我们使用不同的随机种子生成不同的响应，从而能够探索各种创造性的可能性。 最后，我们将 DPO 算法应用于所选和拒绝的响应，以改进模型的性能。 通过我们的管道，我们的模型能够生成高质量的文章。

	Block-Match	Text	Position	Color	CLIP	Average
Closed-source API
GPT-4V [112]	85.8	97.4	80.5	73.3	86.9	84.8
Gemini-Pro [142]	80.2	94.6	72.3	66.2	83.9	79.4
Open-source
WebSight VLM-8B [64]	55.9	86.6	77.3	79.4	86.5	77.1
CogAgent-Chat-18B [48]	7.1	18.1	13.3	13.0	75.5	25.4
Design2Code-18B [131]	78.5	96.4	74.3	67.0	85.8	80.4
IXC-2.5-7B	81.9	95.6	80.9	80.8	86.5	85.1

表5： 屏幕截图到代码。 在 Design2Code 基准测试 上与闭源 API 和开源模型进行比较。 最好的结果是粗体，次好的结果是下划线。

4实验

在本节中，我们在监督微调后验证 InternLM-XComposer-2.5 (IXC-2.5) 的基准性能。

4.1LVLM 基准结果。

在表 3 和表 4 中，我们将 IXC-2.5 在一系列基准测试中与闭源 API 和 SOTA 开源 LVLM（模型大小相当）进行比较。 在这里，我们报告了 MVBench [71]、MLVU [181]、MME-Video [42]、MMBench-Video [38]，温度罗盘[88]。 对于结构高分辨率理解，我们在 DocVQA [107]、ChartQA [106]、InfographicVQA [108]、TextVQA [133]、OCRBench [89]、DeepForm [139]、WikiTableQuestion (WTQ) [117]、Visual MRC [140] 和 TabFact [20]。 在一般视觉问题解答方面，我们报告了 MMStar [18], RealWorldQA[155], MathVista [100]、MMMU [166], AI2D [61], MME [40], MMBench (MMB) [87], MMBench-Chinese (MMB^CN) [87], MMBench-v1.1 (MMB^v1.1) [87], SEED-Bench Image Part (SEED^I)[66], MM-Vet [164], HallusionBench (HallB) [44]. 对于多真多图像对话，我们在 MMDU [92] 基准上评估 IXC-2.5。 对于网页制作，我们报告了一个子任务屏幕截图到代码[131]，因为社区中没有其他人的基准。

评估主要在OpenCompass VLMEvalKit[30]上进行，以便统一复现结果。

视频理解基准比较。 如表 3 所示，IXC-2.5 在细粒度视频理解任务上表现出具有竞争力的性能，在 5 个基准测试中的 4 个上优于开源模型，并与闭源 API 相当。 例如，IXC-2.5 在 MVBench 上达到 69.1，$+8.7\%$ 高于之前的 SOTA 方法 VideoChat2-7B，并且优于 GPT-4V，$+25.6\%$。 对于最近具有挑战性的MMBench-Video，IXC-2.5在开源模型上达到了SOTA性能，并且性能接近Gemini-Pro。

结构高分辨率基准的比较。 得益于统一的图像分区策略，IXC-2.5可以处理多种类型的图像。 表 3 报告了其在多个结构高分辨率基准上的性能。 仅 7B 参数的 IXC-2.5 的性能与当前大型开源 LVLM 和闭源 API 相当。 例如，IXC-2.5 在 DocVQA 测试集上获得 $90.9\%$，与 InternVL-1.5 相同，有近 $4\times$ 个参数。 对于高度结构化的表单和表格理解任务，IXC-2.5 在 WikiTableQuestion、DeepForm 和 TableFace 上分别以 $+13.0\%$、$+2.4\%$、$+5.0\%$ 优于 DocOwl 1.5-8B。

多图像多轮基准比较。 IXC-2.5能够将多个图像作为输入并基于它们进行多轮自由形式对话。 我们在新提出的 MMDU 基准[92]上对其进行定量评估。 如表4所示，IXC-2.5模型表现出优越的性能，比之前的SOTA开源模型显着领先13.8%。 这一显着的改进凸显了我们的方法在提高多图像和多轮理解能力方面的有效性。

通用视觉 QA 基准的比较。 IXC-2.5 被设计为通用 LVLM，用于处理各种多模态任务。 在这里，我们报告了它在一般视觉 QA 基准上的表现。 如表4所示，IXC-2.5 在这些基准测试中显示出卓越的性能，并且与当前大型开源 LVLM 和闭源 API 相当。 例如，IXC-2.5 在具有挑战性的 MMStar 上获得$59.9\%$，并且优于 GPT-4V 和 Gemini-Pro。 在 RealWorldQA 上，IXC-2.5 的表现也优于 Gemini-Pro，接近 GPT-4V。

屏幕截图到代码基准的比较。 表 5 显示了 Design2Code [131] 基准测试的比较结果，该基准评估将视觉设计转化为代码实现的能力。 我们的 IXC-2.5 的平均性能甚至超过了 GPT-4v，这凸显了 IXC-2.5 在缩小视觉设计和代码实现之间差距方面的潜力。

5结论

我们推出了 InternLM-XComposer-2.5 (IXC-2.5)，这是一种尖端的大视觉语言模型 (LVLM)，拥有长上下文输入和输出功能，可实现超高分辨率图像理解、细粒度图像等高级功能。视频理解、多轮多图对话、网页生成、文章撰写。 我们的综合实验表明，IXC-2.5 通过相对适中的 7B 大型语言模型（大语言模型）后端实现了显着的竞争性能。

我们的模型提出了一个有前景的研究方向，可以扩展到更具上下文的多模态环境，包括长上下文视频理解(例如。，长电影）和长上下文视频理解。上下文交互历史，以更好地帮助人类进行现实世界的应用。

致谢：我们衷心感谢清华大学张超教授对音频模型和工具的建议。