零样本文档图像问答的布局和任务感知指令提示

摘要

布局感知预训练模型在文档图像问答方面取得了重大进展。 他们将额外的可学习模块引入到现有语言模型中，以从 OCR 工具获得的文本边界框坐标中捕获文档图像中的布局信息。 然而，额外的模块需要对大量文档图像进行预训练。 这阻止了这些方法直接利用现成的指令调整语言基础模型，这些模型最近在零样本学习中显示出了巨大的潜力。 相反，在本文中，我们发现像 Claude 和 ChatGPT 这样的指令调整语言模型可以理解空格和换行符的布局。 基于这一观察，我们提出LAyout和Task意识In指令提示(拉丁语-Prompt)，由布局感知文档内容和任务感知指令组成。 具体来说，前者使用适当的空格和换行符来恢复 OCR 工具获取的文本段之间的布局信息，后者确保生成的答案符合格式要求。 此外，我们建议LA您并T询问In指令调整(LATIN-Tuning) 来提高 Alpaca 等小型指令调优模型的性能。 实验结果表明，LATIN-Prompt使得Claude和ChatGPT的零样本性能可以与SOTA在文档图像问答上的微调性能相媲美，并且LATIN-Tuning显着增强了Alpaca的零样本性能。 例如，LATIN-Prompt 将 Claude 和 ChatGPT 在 DocVQA 上的性能分别提高了 $263\%$ 和 $20\%$。 LATIN-Tuning 将 Alpaca 在 DocVQA 上的性能提高了 $87.7\%$。 定量和定性分析证明了 LATIN-Prompt 和 LATIN-Tuning 的有效性。 我们发布代码以方便未来的研究。

1简介

图1： (a) 现有方法将布局感知模块引入到语言模型中，以从 OCR 工具获得的文本边界框坐标中捕获文档图像内的布局信息。 他们需要对大量文档图像进行进一步的预训练。 (b) 我们的方法允许指令调整语言模型通过空格和换行符捕获布局，并可以对文档图像问答进行​​零样本推理。

智能文档图像问答作为文档智能的重要应用，旨在开发基于文档图像理解自动回答自然语言问题的人工智能系统。 与文本文档相比，文档图像包含文本、视觉和布局信息，这对机器理解提出了独特的挑战。

最近，布局感知预训练模型在文档图像问答方面取得了重大进展。 他们在语言模型的基础上引入了额外的可学习模块（Devlin 等人 2019; Liu 等人 2019b; Raffel 等人 2020; Bao 等人 2020），以从文本边界坐标捕获文档图像中的布局信息OCR工具获取的框(图1(a)）。 LayoutLM (Xu 等人 2020) 通过 2D 位置嵌入将坐标信息引入到模型输入中。 LayoutLMv2 (Xu 等人 2021b)、LayoutLMv3 (Huang 等人 2022) 和 ERNIE-Layout (Peng 等人 2022) 捕获布局通过布局感知注意机制从坐标获取信息。 这些方法对新引入的布局感知模块的大量文档图像进行预训练。

然而，预训练的需要使得这些方法无法直接利用现成的指令调优语言基础模型，而这些模型最近在零样本学习中显示出了巨大的潜力。 一方面，像 Claude (Anthropic 2023) 和 ChatGPT (OpenAI 2022) 这样的商业大型指令调优模型是闭源的，阻碍了进一步的预训练。 另一方面，开源指令调优模型的规模比传统模型大得多。 例如，Alpaca (Rohan Taori 等人 2023) 由 70 亿个参数组成，而 BERT${}_{\text{large}}$ (Devlin 等人 2019) 仅包含 300 多个参数万个参数。 现有方法(Xu 等人 2020, 2021b; Huang 等人 2022; Peng 等人 2022) 从 IIT-CDIP 测试集数据集中选择超过 1000 万个页面(Lewis 等人 2006) 用于预训练。 但像 Alpaca 这样的 1000 万页预训练指令调优模型的成本太昂贵了。

相反，在这项工作中，我们发现像 Claude 和 ChatGPT 这样的指令调整语言模型可以理解空格和换行符的布局(图 1 (b))。 基于这一观察，我们提出LAyout和Task意识In指令提示(拉丁语-Prompt)，由布局感知文档内容和任务感知指令组成。 具体来说，根据 OCR 结果，我们使用适当的空格和换行符将所有文本段连接在一起，从而生成布局感知的文档内容。 坐标中包含的布局信息被转换为空格和换行符。 此外，我们将任务指令集成到布局感知的文档内容中，确保模型生成符合格式要求的答案。 虽然简单，但我们的方法很直观并且符合人类行为。 人类使用空白区域来表示和理解布局。

我们还发现像 Alpaca 这样的小型指令调优语言基础模型不擅长理解空间布局。 因此，我们建议您使用LA并T询问In说明调整(LATIN-Tuning) 来提高它们的性能。 我们将 CSV 格式的表转换为包含空格和换行符的字符串，并由 Claude 从这些字符串构建指令调整数据。

我们的贡献总结如下：

• 我们发现像 Claude 和 ChatGPT 这样的指令调整模型可以通过空格和换行来捕获布局，并提出 LATIN-Prompt 对文档图像问答任务进行零样本推理。

• 我们提出拉丁语调音以增强羊驼理解空格和换行布局的能力。

• 三个数据集上的实验结果表明，LATIN-Prompt使得Claude和ChatGPT的零样本性能可以与SOTA在文档图像问答上的微调性能相媲美，并且LATIN-Tuning显着增强了Alpaca的零样本性能。 定量和定性分析证明了 LATIN-Prompt 和 LATIN-Tuning 的有效性。

2相关工作

图2： LATIN-Prompt 概述(Sec. 3.1)。 给定文档图像和相应的问题，我们使用适当的空格和换行符从 OCR 结果中恢复文档图像内的布局信息，然后将布局感知文档内容和问题一起插入到任务指令提示模板中。 指令调优大语言基础模型将填充的模板作为输入，并以所需的格式预测问题的答案。

#Line	Prompt
1	You are asked to answer questions asked on a document image.
2	The answers to questions are short text spans taken verbatim from the document. This means that the answers comprise a set of contiguous text tokens present in the document.
3	Document:
4	{Layout Aware Document placeholder}
5
6	Question: {Question placeholder}
7
8	Directly extract the answer of the question from the document with as few words as possible.
9
10	Answer:

表格1： DocVQA 提示模板。 {} 代表占位符。

2.1 视觉丰富的文档理解

视觉丰富的文档理解 (VrDU) 专注于识别和理解带有语言、视觉和布局信息的扫描或数字生成的文档图像。 VrDU 中的传统作品采用 CNN （Yang 等人 2017；Katti 等人 2018；Denk 和 Reisswig 2019；Zhao 等人 2019；Sarkhel 和 Nandi 2019；Zhang 等人 2020；Wang 等人 2021；Lin 等人 2021 ）、GNN （Liu 等人 2019a；Qian 等人 2019；Yu 等人 2020；Wei、He、Zhang 2020；Carbonell 等人 2021），以及语言 Transformer (Majumder 等人 2020; Wang 等人 2020) 从文档图像中挖掘信息。

最近，提出了布局感知的预训练 Transformer (Appalaraju 等人 2021; Garncarek 等人 2021; Hwang 等人 2021; Li 等人 2021a, b, c; Xu 等人 2021a; Hong 等人 2022; Lee 等人 2022a；Peng 等人 2022；Bai 等人 2022a；Lee 等人 2022b；罗 等人 2023；Dhouib、Bettaieb 和 Shabou 2023）。 LayoutLM (Xu 等人 2020) 将 2D 位置信息引入输入嵌入，LayoutLMv2 (Xu 等人 2021b) 提出了空间感知的自注意力机制。 然后，LayoutLMv3 (Huang 等人 2022) 通过学习离散图像标记重建的视觉特征提取来去除 CNN，ERNIE-Layout (Peng 等人 2022) 引入了将知识布局到预训练中。 此外，(Zhang 等人 2021; Gu 等人 2022; Wang 等人 2022a) 在微调过程中引入了额外的设计，使布局感知的预训练模型能够更好地适应下游任务。

然而，所有现有方法都试图通过 OCR 工具获得的边界框坐标来理解文档图像内的布局。 相反，在这项工作中，我们尝试通过空格和换行符直接理解布局。 我们提出 LATIN-Prompt 和 LATIN-Tuning 来探索零样本文档图像问答。

并行工作 ICL-D3IE (He 等人 2023) 也在文档图像理解中利用了大型指令调整模型，但它与我们的方法有很大不同。 它侧重于少样本文档信息提取，但本文重点关注零样本文档图像问答。

2.2指令调优语言模型

理想的人工智能系统应该能够根据人类指令学习并完成各种任务。 为此，人们提出了许多指令调优数据集和语言基础模型(Thoppilan 等人 2022; Chung 等人 2022; Wei 等人 2022; Sanh 等人 2022; Mishra 等人 2022; Wang 等人 2022c; Xu、Shen、Huang 2022；Iyer 等人 2023；Longpre 等人 2023)。 为了使模型与人类意图和价值观完全一致，教学中引入了基于人类反馈和人工智能反馈的强化学习（Bai 等人 2022b; Ouyang 等人 2022; Bai 等人 2022c; Open AI 2023） -调整。 为了减少指令调优数据的手动标注成本，一些方法使用现成的语言模型自动构建指令调优数据（Honovich 等人 2022; Wang 等人 2022b; Rohan Taori 等人 2023; Peng等人 2023；周等人 2023；徐等人 2023)。 最近，一些方法（Zhu 等人 2023; Dai 等人 2023） 将指令微调扩展到多模态领域。

在本文中，我们提出了 LATIN-Prompt，允许现成的指令调整语言模型进行零样本文档图像问答。 此外，我们提出拉丁语调音以增强羊驼理解空格和换行布局的能力。

3方法

我们提出了 LATIN-Prompt 和 LATIN-Tuning 用于指令调整语言模型，以对文档图像问答任务进行零样本推理。

3.1 拉丁语提示

LATIN-Prompt 的关键思想如下： (1) 通过空格和换行符捕获布局信息 (2) 通过任务指令生成符合格式要求的答案。 图2说明了LATIN-Prompt的流程。 给定文档图像的 OCR 结果，我们通过使用适当的空格和换行符将所有文本段连接在一起来恢复其中的布局信息，从而生成布局感知的文档内容。 然后我们将布局感知文档内容和问题插入到任务指令提示模板中。 指令调整语言模型将填充的模板作为输入，并以所需的格式预测问题的答案。

形式上，给定文档图像$D$和问题答案对$q$和$a$，我们通过OCR工具处理文档图像。 提取的文本段和相应的边界框表示为$S=\{s_1,s_2,\mathrm{\dots },s_n\}$和$B=\{b_1,b_2,\mathrm{\dots },b_n\}$，其中$n$表示文本段的数量。

布局感知文档

我们使用适当的空格和换行符将所有文本段连接在一起，从而产生布局感知的文档内容。 流程如下：

步骤1。 根据坐标从上到下、从左到右的顺序重新排列文本段和边界框。

第2步。 根据坐标，将第$i$行的文本段和边界框从左到右分别放入列表$S_i$和$B_i$中，并计算第 $i$ 行的字符数 $c_i$ 和宽度 $w_i$。 $w_i$ 等于列表 $B_i$ 中边界框并集的宽度。

步骤 3. 计算文档$D$的字符宽度，定义如下：

$$\overline{c}:=w_i^{\ast }/c_i^{\ast },i^{\ast }={\text{argmax}}_i{c}_i,$$ (1)

其中 $i^{\ast }$-row 具有所有行中的最大字符数。

步骤4。 用空格从左到右连接同一行中的文本段。 给定两个相邻的文本段 $S_{i,j}$ 和 $S_{i,k}$，连接它们的空格数等于 $h_{i,jk}/\overline{c}$，其中 $h_{i,jk}$ 是它们之间的水平距离两个边界框 $B_{i,j}$ 和 $B_{i,k}$。

步骤 5。 通过换行符连接不同的行以获得布局感知文档内容（表示为$S^{\prime }$)。

通过空格和换行符恢复布局信息简单而直观。 事实上，人们确实通过文本元素之间的空白区域来表示和理解布局，而不是精确的边界框坐标。

任务意识指导

与开放式问答不同，文档图像问答通常会对答案格式有明确的要求。 例如，DocVQA （Mathew、Karatzas 和 Jawahar 2021） 是一项提取式 QA 任务，需要从文档中提取答案。 然而，仅通过布局感知的文档内容和问题，模型可以轻松生成文档中没有的答案，并生成不必要的描述或解释。

因此，我们将任务指令集成到布局感知的文档内容中，确保模型生成符合格式要求的答案。 具体来说，我们针对不同的任务手动设计了不同的指令提示模板。 每个模板 $P(S^{\prime },q)$ 包含任务的要求以及布局感知文档内容 $S^{\prime }$ 和问题 $q$ 的占位符。

Table 7显示DocVQA的提示模板。 在第一行和第二行中，我们根据DocVQA中的任务描述向模型详细解释了提取的含义。 第 3 行到第 6 行为布局感知文档和问题提供占位符。 为了避免模型因文档内容的干扰而忘记其任务，第8行总结并重申了任务要求。 InfographicVQA (Mathew 等人 2021) 和 MP-DocVQA (Tito, Karatzas, and Valveny 2023) 的提示模板请参阅补充材料。

零样本推理

最后，指令调优语言模型$M$将填充模板$P(S^{\prime },q)$作为输入并预测答案如下：

$$a^{\prime }=f_M(P(S^{\prime },q)),$$ (2)

其中$a^{\prime }$表示预测，$f_M$表示模型$M$的解码过程。

3.2 拉丁语调音

图3： LATIN-Tuning 数据的构建(Sec. 3.2)。 (1) 使用Pandas将CSV格式的表格转换为带有空格和换行符的文档字符串。 (2) 将文档字符串插入到问题生成提示模板中，并由 Claude 生成问答对。 (3) 将文档字符串和问题插入指令提示模板中形成输入，以答案为目标。

Paradigm	Method	Parameters	Text	Vision	Layout	Fine-tuning Set	ANLS	$\mathrm{\Delta }$ANLS
Fine-tuning	BERT${}_{\text{LARGE}}$	340M	$\mathrm{✓}$			train	0.6768
	RoBERTa${}_{\text{LARGE}}$	355M	$\mathrm{✓}$			train	0.6952
	UniLMv2${}_{\text{LARGE}}$	340M	$\mathrm{✓}$			train	0.7709
	LayoutLM${}_{\text{LARGE}}$	343M	$\mathrm{✓}$		$\mathrm{✓}$	train	0.7259
	LayoutLMv2${}_{\text{LARGE}}$	426M	$\mathrm{✓}$	$\mathrm{✓}$	$\mathrm{✓}$	train	0.8348
	LayoutLMv3${}_{\text{LARGE}}$	368M	$\mathrm{✓}$	$\mathrm{✓}$	$\mathrm{✓}$	train	0.8337
	ERNIE-Layout${}_{\text{LARGE}}$	507M	$\mathrm{✓}$	$\mathrm{✓}$	$\mathrm{✓}$	train	0.8321
	LayoutLMv2${}_{\text{LARGE}}$	426M	$\mathrm{✓}$	$\mathrm{✓}$	$\mathrm{✓}$	train + dev	0.8529
	ERNIE-Layout${}_{\text{LARGE}}$	507M	$\mathrm{✓}$	$\mathrm{✓}$	$\mathrm{✓}$	train + dev	0.8486
Zero-shot	Alpaca+Plain Prompt	7B	$\mathrm{✓}$			-	0.3567
	Alpaca+LATIN-Prompt		$\mathrm{✓}$		$\mathrm{✓}$	-	0.4200	+0.0633
	Claude+Plain Prompt	Unknown	$\mathrm{✓}$			-	0.2298
	Claude+LATIN-Prompt		$\mathrm{✓}$		$\mathrm{✓}$	-	0.8336	+0.6038
	ChatGPT-3.5+Plain Prompt	Unknown	$\mathrm{✓}$		$\mathrm{✓}$	-	0.6866
	ChatGPT-3.5+LATIN-Prompt		$\mathrm{✓}$		$\mathrm{✓}$	-	0.8255	+0.1389
	GPT-4∗	Unknown	not clearly described			-	0.8840
* represents that we report the result of GPT-4 presented in OpenAI blog (OpenAI 2023). Although lacking a technical detail description, compared with Claude and ChatGPT-3.5, GPT-4 utilizes visual information. The LATIN-Prompt is orthogonal to GPT-4 and can be used to further improve the performance of GPT-4. However, due to API permission limitations, we are unable to evaluate the performance of GPT-4 + LATIN-Prompt and leave it in future.

表2： DocVQA 测试数据集上的性能。 Text、Vision 和 Layout 表示模型使用的模态信息。 $\mathrm{\Delta }$ANLS 表示 LATIN-Prompt 与 Plain Prompt 相比的增益。 未知表示缺少相关详细信息。

Paradigm	Method	Overall		Answer type
		ANLS	$\mathrm{\Delta }$ANLS	Image span	Question span	Multiple spans	Non span
Fine-tuning	BERT	0.2078		0.2625	0.2333	0.0739	0.0259
	LayoutLM	0.2720		0.3278	0.2386	0.0450	0.1371
	LayoutLMv2	0.2829		0.3430	0.2763	0.0641	0.1114
	BROS	0.3219		0.3997	0.2317	0.1064	0.1068
	pix2struct	0.4001		0.4308	0.4839	0.2059	0.3173
	TILT	0.6120		0.6765	0.6419	0.4391	0.3832
Zero-shot	Claude + Plain Prompt	0.0798		0.0951	0.0913	0.0203	0.0280
	Claude + LATIN-Prompt	0.5451	+0.4653	0.5992	0.5861	0.3985	0.3544
	ChatGPT-3.5 + Plain Prompt	0.3335		0.3749	0.4505	0.0950	0.1822
	ChatGPT-3.5 + LATIN-Prompt	0.4898	+0.1563	0.5457	0.5639	0.3458	0.2798

Method	Evidence					Operation
	Table/List	Textual	Visual object	Figure	Map	Comparison	Arithmetic	Counting
BERT	0.1852	0.2995	0.0896	0.1942	0.1709	0.1805	0.0160	0.0436
LayoutLM	0.2400	0.3626	0.1705	0.2551	0.2205	0.1836	0.1559	0.1140
LayoutLMv2	0.2449	0.3855	0.1440	0.2601	0.3110	0.1897	0.1130	0.1158
BROS	0.2653	0.4488	0.1878	0.3095	0.3231	0.2020	0.1480	0.0695
pix2struct	0.3833	0.5256	0.2572	0.3726	0.3283	0.2762	0.4198	0.2017
TILT	0.5917	0.7916	0.4545	0.5654	0.4480	0.4801	0.4958	0.2652
Claude + Plain Prompt	0.0849	0.1099	0.0858	0.0695	0.0496	0.0589	0.0271	0.0368
Claude + LATIN-Prompt	0.5421	0.6725	0.4897	0.5027	0.4982	0.4598	0.4311	0.2708
ChatGPT-3.5 + Plain Prompt	0.3481	0.3893	0.3670	0.3114	0.1843	0.2349	0.1466	0.2320
ChatGPT-3.5 + LATIN-Prompt	0.4917	0.6016	0.4491	0.4585	0.3614	0.4312	0.3157	0.2660

表3： InfographicVQA 测试数据集上的性能。 InfographicVQA 中的问题可以根据答案类型、证据来源和操作进行分组。 我们列出了模型的整体性能及其在不同组中的性能。 所有表现均由 ANLS 进行评估。 $\mathrm{\Delta }$ANLS 表示 LATIN-Prompt 与 Plain Prompt 相比的增益。 最高和第二高分数以粗体和下划线显示。

Paradigm	Method	Setup	ANLS
Fine-tuning	BERT	Max Conf	0.5347
		Concat	0.4183
	Longformer	Max Conf	0.5506
		Concat	0.5287
	Big Bird	Max Conf	0.5854
		Concat	0.4929
	LayoutLMv3	Max Conf	0.5513
		Concat	0.4538
	T5	Max Conf	0.4028
		Concat	0.5050
	Hi-VT5	Multipage	0.6201
Zero-shot	Claude+LATIN-Prompt	Max Conf	0.6129

表 4： MP-DocVQA 测试数据集上的性能。 Concat表示连接多页内容。 MaxConf表示单独处理页面并根据置信度选择答案。 我们只在 MaxConf 设置中使用 LATIN-Prompt 来评估 Claude，因为 Plain Prompt 不适用于 MaxConf，并且 Concat 超出了长度限制。

尽管 Claude 和 ChatGPT 等指令调优模型可以很好地理解和利用 LATIN-Prompt，但我们发现 Alpaca (7B) 等较小模型的性能达不到标准。 因此，我们建议拉丁语调音来增强他们理解空格和换行布局的能力。 如图图3所示，我们使用Pandas 和 Claude 从 CSV 格式的表构建指令调整数据集。 流程如下：

(1) 对于每个 CSV 表，我们通过 Pandas 将其转换为带有空格和换行符的文档字符串。 代码实现请参见附录。 (2) 我们将文档字符串插入到问题生成提示模板中，并由 Claude 生成问答对。 (3) 将文档字符串和问题插入指令提示模板中形成输入，以答案作为目标。 问题生成提示模板和指令提示模板的详细信息请参见附录。

最后，我们在指令调整数据集上对 Alpaca 进行了处理，以增强其理解空格和换行布局的能力。

4实验

图4： 指令微调数据集大小对 LATIN-Tuning 的影响。 LATIN-Tuning 的性能随着样本数量的增加而提高。

图5： Claude 在 DocVQA 上的案例研究。 由于缺乏任务指令，Plain Prompt 会生成不必要的单词(蓝色)，违反了提取要求。 此外，Plain Prompt 无法捕获布局信息并生成不正确的答案(绿色)。 在情况（A）中，它将“咖啡”和“巧克力”作为答案，这两个词在语义上与“choco”相似。 在情况(B)中，它把“61”作为答案，因为它直接跟在“浪漫和神秘”之后。 在情况（C）中，它未能理解文档并进行错误的推理。 相比之下，LATIN-Prompt 可以理解布局关系并生成正确答案(红色)。 这些案件的文档图像非常复杂。 由于篇幅有限，我们这里仅展示部分原始文档图片。 原文档图片及更多案例请参见附录。

4.1 实验设置

数据集

我们在三个文档图像问答数据集上评估我们的方法：DocVQA （Mathew、Karatzas 和 Jawahar 2021） 是一项提取式问答任务，由在 12,767 个文档图像上定义的 50,000 个问题组成； InfographicVQA (Mathew 等人 2021) 由 5,485 个信息图表组成，通过文本、图形和视觉元素共同传达信息； MP-DocVQA （Tito、Karatzas 和 Valveny 2023） 将 DocVQA 扩展到更现实的多页面场景，其中文档通常由应一起处理的多个页面组成。 按照惯例，我们使用 DUE (Borchmann 等人 2021) 提供的 Azure OCR 结果进行 DocVQA，并使用官方 OCR 结果 InfographicVQA 和 MP-DocVQA。 对于所有数据集，我们采用平均归一化编辑相似度（ANLS）（Biten等人2019）作为评估指标。

拉丁语-提示基线

为了评估 LATIN-Prompt 的零样本性能，我们将其与三种指令调优语言模型上的 Plain Prompt 进行比较： Claude, 聊天GPT-3.5和羊驼。 Plain Prompt 的模板如下：“文档：{文档}$\backslash$n问题：{问题}$\backslash$n直接从文档中提取问题的答案。$\backslash$nAnswer:”，其中 {document} 和 {question} 是 OCR 工具和问题的原始文本片段的占位符。 我们还将 LATIN-Prompt 的零样本性能与预训练微调方法的微调性能进行了比较。 此外，我们报告了 OpenAI 博客 (OpenAI 2023) 中提出的多模态 GPT-4 的结果。 由于API权限限制，我们将对GPT-4+LATIN-Prompt的探索留作未来的工作。

我们只在 DocVQA 上评估 Alpaca，因为其他两个任务对它来说太复杂了。 羊驼无法遵循这两个任务的任务指令。 事实上，Alpaca 在 InfographicVQA 上表现不佳（参考 选项卡。 5）并且无法生成满足 MP-DocVQA 格式要求的答案。 我们排除了 MP-DocVQA 上的 ChatGPT-3.5，因为它需要处理太多文档页面，并且实验成本超出了我们可以承受的范围。

拉丁调音

我们从 WikiTableQuestions （Pasupat 和 Liang 2015） 中随机抽取 5000 个 CSV 格式的表并进行替换，以创建指令调整数据集。 我们使用 AdamW （Loshchilov 和 Hutter 2018） 优化器，在 Alpaca （Rohan Taori 等人 2023） 之后，以 0.03 的预热比率，在创建的数据集上对 Alpaca 进行了 3 个周期的训练。 >。 我们使用$64$的批量大小和$2e-5$的学习率。 所得模型表示为 Alpaca+LATIN-Tuning，我们将其与 Alpaca 进行比较以评估 LATIN-Tuning 的性能。

4.2 拉丁语提示的表现

表 2展示了DocVQA上的实验结果。 （1）在预训练微调范式中，布局感知多模态预训练模型比纯语言模型表现更好。 (2)进一步地，增加微调数据量可以提高模型的性能。 (3)指令调优语言模型在基于OCR工具获取的原始文本片段的简单提示下表现不佳。 (4)本文提出的LATIN-Prompt显着提高了指令调优语言模型的零样本性能。 它使 Claude 和 ChatGPT-3.5 的零样本性能显着优于微调的布局感知 LayoutLM。 此外，尽管仅使用文本和布局信息，但它们的零样本性能与微调的布局感知多模态预训练模型的性能相当。 （5）虽然未知，但Claude和GPT-3.5的参数数量应该比Alpaca大得多。 实验结果表明，最终的零样本性能与指令调优模型的大小和能力呈正相关。 (6) GPT-4的零样本性能与最佳微调性能相匹配。 虽然缺乏技术细节描述，但与 Claude 和 GPT-3.5 相比，GPT-4 利用了视觉信息，体现了视觉信息对于文档图像理解的重要性。 LATIN-Prompt 与 GPT-4 正交。 不过，由于 API 权限限制，我们只能留待以后使用 LATIN-Prompt 来武装 GPT-4。

表 3 呈现 InfographicVQA 上的结果。 实验结果表明，LATIN-Prompt使得Claude和GPT-3.5的零样本性能超过了除TILT之外的所有微调基线的性能。 我们发现 Claude 在使用 Plain Prompt 时表现不佳，但在使用 LATIN-Prompt 时其性能显着提高。

表 4呈现 MP-DocVQA 的结果。 结果表明，使用 LATIN-Prompt，Claude 的零样本性能超过了 Longformer （Beltagy、Peters 和 Cohan 2020） 和 Big Bird （Zaheer 等人 2021）的微调性能 t1> 专为长序列而设计。 此外，其零样本性能可与 Hi-VT5 （Tito、Karatzas 和 Valveny 2023）（一种用于多页文档图像的布局感知多模态模型）的微调性能相媲美。

4.3 拉丁调音的性能

Method	DocVQA		InfographicVQA
	Valid	Test	Valid	Test
Alpaca	0.3506	0.3567	0.1083	0.1419
Alpaca+LATIN-Tuning	0.6668	0.6697	0.2873	0.3028
Claude	0.8311	0.8336	0.5218	0.5451

表 5： 拉丁调音的效果。 所有方法均配备 LATIN-Prompt。

表 5 表明 LATIN-Tuning 将 Alpaca 在 DocVQA 上的性能提高了 $87.7\%$，在 InfographicVQA 上提高了 $113\%$。 尽管如此，其表现仍落后于克劳德。 未来我们将探索更有效的指令调优方法。

4.4定量和定性分析

Prompt	DocVQA		InfographicVQA
	Claude	ChatGPT	Claude	ChatGPT
LATIN-Prompt	0.8311	0.8135	0.5218	0.4708
w/o Layout	0.7825	0.7491	0.4638	0.4341
w/o Task	0.3637	0.7561	0.1234	0.4296
w/o Task+Layout	0.2144	0.6795	0.0702	0.3103

表 6： DocVQA 和 InfographicVQA 验证数据上 LATIN-Prompt 的消融。

LATIN-Prompt 组件的效果

LATIN-Prompt 由布局感知文档内容（Layout）和任务指令（Task）组成。 表 6呈现了 LATIN-Prompt with Claude 和 ChatGPT-3.5 在 DocVQA 和 InfographicVQA 上的消融研究结果。 结果表明，布局感知文档内容和任务指令都可以显着提高 Claude 和 ChatGPT-3.5 的零样本性能。 任务指令带来的改进在 Claude 中更为显着，因为它保证了模型生成的答案的格式满足任务要求。 在正确格式的基础上，布局感知文档内容进一步提高了模型的性能，因为它使模型能够利用文本段之间的布局信息。

指令调整数据大小对 LATIN-Tuning 的影响

图4显示，LATIN-Tuning的性能随着样本数量的增加而提高。 当样本数超过 2000 时，改进速度减慢。

拉丁语提示案例研究

图 5提供了Claude在DocVQA上的案例。 与 Plain Prompt 相比，LATIN-Prompt 使模型能够更有效地理解布局并生成满足格式要求的答案。

LATIN-Tuning 案例研究

DocVQA 的案例研究表明，LATIN-Tuning 使 Alpaca 能够理解空间布局。 详情请参阅附录。

5结论

在这项工作中，我们为理解文档图像中的布局信息提供了一个新的视角。 我们发现像 Claude 和 ChatGPT 这样的指令调整语言模型可以通过空格和换行符来理解布局，而不是通过边界框的坐标来捕获布局。 基于这一观察，我们提出了 LATIN-Prompt，它使 Claude 和 ChatGPT 的零样本性能能够与 SOTA 在文档图像问答上的微调性能相媲美。 此外，我们提出了 LATIN-Tuning，它增强了 Alpaca 通过空格和换行来理解布局的能力。 未来，我们将探索将视觉信息融入到 LATIN-Prompt 中，并为 LATIN-Tuning 创建更有效的指令调优数据集。

附录A提示模板

#Line	Prompt
1	You are asked to answer questions asked on a document image.
2	The answers to questions are short text spans taken verbatim from the document. This means that the answers comprise a set of contiguous text tokens present in the document.
3	Document:
4	{Layout Aware Document placeholder}
5
6	Question: {Question placeholder}
7
8	Directly extract the answer of the question from the document with as few words as possible.
9
10	Answer:

表 7： DocVQA 提示模板。 {} 代表占位符。

#Line	Prompt
1	You are asked to answer questions asked on a document image.
2	The answer for a question in this can be any of the following types:
3	1. Answer is a piece contiguous text from the document.
4	2. Answer is a list of ”items” , where each item is a piece of text from the document (multiple spans). In such cases your model/method is expected to output an answer where each item is separated by a comma and a space. For example if the question is ”What are the three common symptoms of COVID-19?” Answer must be in the format ”fever, dry cough, tiredness”. In such cases ”and” should not be used to connect last item and the penultimate item and a space after the comma is required so that your answer match exactly with the ground truth.
5	3. Answer is a contiguous piece of text from the question itself (a span from the question)
6	4. Answer is a number ( for example ”2”, ”2.5”, ”2%”, ” 2/3” etc..). For example there are questions asking for count of something or cases where answer is sum of two values given in the image.
7	Document:
8	{Layout Aware Document placeholder}
9
10	Question: {Question placeholder}
11
12	Directly answer the answer of the question from the document with as few words as possible.
13
14	Answer:

表8： InfographicVQA 提示模板。 {} 代表占位符。

#Line	Prompt
1	You are asked to answer questions asked on a document image.
2	The answers to questions are short text spans taken verbatim from the document. This means that the answers comprise a set of contiguous text tokens present in the document.
3	Document:
4	{Layout Aware Document placeholder}
5
6	Question: {Question placeholder}
7
8	Directly extract the answer of the question from the document with as few words as possible.
9
10	You also need to output your confidence in the answer, which must be an integer between 0-100.
11	The output format is as follows, where [] indicates a placeholder and does not need to be actually output:
12	[Confidence score], [Extracted Answer]

表 9： MP-DocVQA 提示模板。 {} 代表占位符。

#Line	Prompt
1	Document:
2	{Document string with spaces and line from CSV table}
3	Randomly generate a question and corresponding answer for the above document. The answer to the question must be unique, and must be extracted from the document. To answer this question, the layout of the document must be understood. The output should be in the following format without any other text:
4	Question: [Question content]
5	Answer: [Answer content]

表 10： 指令提示模板。 {} 代表占位符。

#Line	Prompt
1	Document:
2	{Document string with spaces and line from CSV table}
3	Question: {Question}
4	Please extract the answer of the question from the given document.

表 11： 问题生成提示模板。 {} 代表占位符。

表 7显示了 DocVQA（Mathew、Karatzas 和 Jawahar 2021）的提示模板。 在第一行和第二行中，我们根据DocVQA (Mathew, Karatzas, and Jawahar 2021)中的任务描述向模型详细解释了提取的含义。 第 3 行到第 6 行为布局感知文档和问题提供占位符。 为了避免模型因文档内容的干扰而忘记其任务，第8行总结并重申了任务要求。

表格 8显示InfographicVQA(Mathew 等人 2021) 的提示模板。 与DocVQA相比，InfographicVQA的答案来源更加复杂。 我们在第1至6行详细描述了答案要求，其余部分与DocVQA提示模板类似。

表 9显示 MP-DocVQA （Tito、Karatzas 和 Valveny 2023）的提示模板。 MP-DocVQA 是一个多页问答任务，其中每个问题都有多个候选页面图像，我们采用最大置信度 (Max Conf)(Mathew, Karatzas, and Jawahar 2021) 设置来解决这个问题。 具体来说，该模型在每一页上提取一个答案，并给出该答案的置信度。 我们选择置信度最高的答案作为最终预测。 第 10 至 12 行 选项卡。 9 指示模型同时输出答案和置信度，其余类似 选项卡。 7.

Table 10 和 Table 11 提供详细信息LATIN-Tuning 中的问题生成提示模板和指令提示模板。

附录 B数据集

为了评估 LATIN-Prompt，我们在三个文档图像问答数据集上进行了实验，包括 DocVQA (Mathew, Karatzas, and Jawahar 2021)、InfographicVQA (Mathew 等人 2021)和 MP-DocVQA （Tito、Karatzas 和 Valveny 2023）。

DocVQA 是一项提取式问答任务，由在 12,767 个文档图像上定义的 50,000 个问题组成。 训练拆分有 39,463 个问题，验证拆分有 5,349 个问题，测试拆分有 5,188 个问题。 DocVQA包含大量与图像中的表单、布局、表格和列表相关的问题，对模型理解文档图像布局的能力提出了很高的要求。

InfographicVQA 由 5,485 个信息图表组成，它们通过文本、图形和视觉元素共同传达信息。 与DocVQA相比，InfographicVQA强调需要基本推理和算术技能的问题，并且答案来源更加复杂，包括Document(Image)-Span、Question-Span、Multi-Span和Non-extractive。

MP-DocVQA 将 DocVQA 扩展到更现实的多页面场景，其中文档通常由应一起处理的多个页面组成。 它包含 46,000 个问题，涉及 6,000 份行业文档的 48,000 多个扫描页面，页面图像包含不同的布局。 MP-DocVQA 中文档之间的可变性非常高。 每个文档的页数从 1 到 20 不等，识别的 OCR 单词数量从 1 到 42,313 不等。

按照惯例，我们使用 DUE (Borchmann 等人 2021) 提供的 DocVQA Azure OCR 结果。 对于 InfographicVQA 和 MP-DocVQA，我们使用官方 OCR 结果。

附录C案例研究

图6： LATIN-Tuning 的案例研究。

图6提供了一个比较Alpaca和Alpaca + LATIN-Tuning性能的案例。 经过拉丁语调音后，羊驼可以更有效地理解布局。