现代 LVLM 仍然难以实现细粒度的文档理解,例如用户感兴趣区域的 OCR/翻译/标题、需要整个页面甚至多个页面上下文的任务。因此,本文提出了 Fox,一种有效的管道、混合数据和调优策略,可催化 LVLM 专注于单页/多页文档的任何位置。我们引入了一项新颖的任务,通过使 LVLM 将注意力集中在文档级区域来增强文档理解,例如将整页 OCR 重新定义为前景焦点 ...
用户喜欢在在线社区中分享“笔记”,包括他们的经历。因此,推荐符合用户兴趣的笔记就成为关键的任务。现有的在线方法仅将注释输入到基于伯特的模型中,以生成注释嵌入来评估相似性... ... ...
零样本信息提取(IE)旨在从未注释的文本构建 IE 系统。由于很少涉及人为干预,因此具有挑战性。零样本 IE 具有挑战性但值得,它减少了数据标记所需的时间和精力 ...
IE(IE)的挑战在于标签模式的多样性和结构的异质性。传统方法需要针对特定任务的模型设计 ...
信息提取任务的难点在于处理特定于任务的标签模式和异构数据结构。最近的工作提出了基于大型语言模型的方法来统一建模不同的信息提取任务。然而,这些现有方法对于英语以外的中文信息提取能力存在缺陷 ...
随着金融机构和专业人士越来越多地将大型语言模型(LLM)纳入其工作流程,金融部门和人工智能社区之间仍然存在巨大的障碍,包括专有数据和专业知识。这些挑战阻碍了人工智能社区有效增强财务任务的能力。认识到金融分析的关键作用,我们的目标是设计基于 LLM 的金融专业工具链,并通过开源计划实现对它们的民主化,从而促进人工智能在金融决策中更广泛的采用 ...
联邦学习涉及在大规模异构网络中训练统计模型。天真地最小化此类网络中的总损失函数可能会对某些设备产生不成比例的优势或劣势。在这项工作中,我们提出了 q-Fair 联邦学习 (q-FFL),这是一种受无线网络中公平资源分配启发的新颖优化目标,鼓励联邦网络中的设备之间更公平(具体地说,更均匀)的准确性分配 ...
近年来,大型语言模型(LLM)因其出色的理解和推理能力而受到广泛关注,在许多领域取得了巨大进展。 LLM 技术的进步也为电信(电信)领域的许多任务的自动化提供了有希望的机会。经过预训练和微调后,LLM 可以根据人类指令执行各种下游任务,为支持人工智能 (AGI) 的 6G 铺平道路 ...
大型语言模型 (LLM) 用途广泛,可以解决许多任务,但为了计算效率,通常需要将其功能提炼成更小的学生模型。对于分类任务执行此操作的一种方法是通过数据集合成,这可以通过从 LLM 生成每个标签的示例来完成。先前的综合方法使用少样本提示,这依赖于 LLM 的参数知识来生成可用的示例 ...
GPT-3 等大型语言模型是优秀的小样本学习器,允许通过自然文本提示来控制它们。最近的研究报告称,基于提示的直接分类消除了微调的需要,但缺乏数据和推理的可扩展性。本文提出了一种新颖的数据增强技术,该技术利用大规模语言模型从真实样本的混合中生成真实的文本样本 ...