LayoutLM: Pre-training of Text and Layout for Document Image Understanding

近年来，预训练技术已在多种 NLP 任务中得到成功验证。尽管预训练模型广泛用于 NLP 应用，但它们几乎完全专注于文本级操作，而忽略了对于文档图像理解至关重要的布局和样式信息。在本文中，我们提出了 \textbf{LayoutLM} 来联合建模扫描文档图像中文本和布局信息之间的交互，这有利于大量现实世界文档图像理解任务，例如从扫描文档中提取信息 ...

Learning to Retrieve In-Context Examples for Large Language Models

大型语言模型（LLM）已经证明了它们在上下文中学习的能力，使它们能够基于一些输入输出示例执行各种任务。然而，情境学习的有效性在很大程度上取决于所选示例的质量。在本文中，我们提出了一种新颖的框架来迭代训练密集检索器，该检索器可以为 LLM 识别高质量的上下文示例 ...