Leveraging Large Language Models for Multimodal Search

多模态搜索在为用户提供自然有效的表达搜索意图的方式方面变得越来越重要。图像提供所需产品的细粒度细节，而文本则允许轻松合并搜索修改。然而，一些现有的多模式搜索系统不可靠并且无法解决简单的查询 ...

Retrieval-Augmented Generation-based Relation Extraction

信息提取 (IE) 是一个转换过程，它通过采用实体和关系提取 (RE) 方法将非结构化文本数据转换为结构化格式。识别一对实体之间的关系在此框架中起着至关重要的作用。尽管存在各种关系提取技术，但它们的功效在很大程度上依赖于对标记数据和大量计算资源的访问 ...

Synthesizing Realistic Data for Table Recognition

为了克服当前自动表格数据注释方法和随机表格数据合成方法的局限性和挑战，我们提出了一种专门为表格识别设计的合成注释数据的新方法。该方法利用现有复杂表格的结构和内容，有助于高效创建紧密复制目标域中发现的真实样式的表格。通过利用中国财务公告中表格的实际结构和内容，我们开发了该领域第一个广泛的表格注释数据集 ...

LayoutLLM: Layout Instruction Tuning with Large Language Models for Document Understanding

最近，利用大语言模型 (LLM) 或多模态大语言模型 (MLLM) 进行文档理解已被证明非常有前途。然而，之前使用LLM/MLLM进行文档理解的工作并没有充分探索和利用文档布局信息，而文档布局信息对于精确的文档理解至关重要。在本文中，我们提出了 LayoutLLM，一种基于 LLM/MLLM 的文档理解方法 ...

How Easily do Irrelevant Inputs Skew the Responses of Large Language Models?

通过利用从外部知识数据库检索信息，大型语言模型 (LLM) 展现出完成许多知识密集型任务的增强功能。然而，由于当前检索系统的固有缺陷，在检索排名靠前的段落中可能存在不相关的信息。在这项工作中，我们对 LLM 在各种条件下对不同类型的不相关信息的鲁棒性进行了全面的调查 ...

Does Knowledge Graph Really Matter for Recommender Systems?

推荐系统（RS）旨在为用户提供个性化推荐。最近，知识图谱（KG）被广泛引入RS中以提高推荐准确性。然而，在这项研究中，我们证明即使 KG 仅降级为用户-项目交互图（或删除），RS 的性能也不一定会更差 ...