大型语言模型(LLMS)在许多NLP任务上都表现出色,但是在多跳的推理和事实一致性上挣扎,将其有效性限制在知识密集的任务上,例如复杂的问题答案(QA)。链接知识图(kg)和LLMS已显示出令人鼓舞的结果,但LLM通常缺乏有效推理图形结构信息的能力。为了解决这个问题,我们提出了一种新型的检索方法,该方法将文本知识图通过查询分解整合到LLM推理过程中 ...
尽管多矢量检索(MVR)在许多信息检索任务上已经达到了最新的状态,但其性能在很大程度上取决于如何将查询分解为较小的零件,例如短语或 Token 。但是,优化对MVR性能的查询分解不是端到端可区分的。更糟糕的是,共同解决此问题并培训基于下游检索的系统,说抹布系统可能高效 ...
在可验证的外部来源中接地大语言模型(LLM)是生成可靠答案的良好策略。检索授权的一代(RAG)就是一种方法,对于诸如问题回答之类的任务特别有效:它检索了与问题的语义相关的段落,然后根据该证据调节模型。但是,多跳的问题,例如“ Nvidia,Apple和Google中的哪个公司在2023年获得最大的利润?”,挑战抹布,因为相关事实通常是在多个文档中分布的,而不是在一个来源中共同出现,从而使标准抹布难以获取足够的信息 ...
神经机器翻译(NMT)模型通常以固定的词汇量运行,但翻译是一个开放式摄影问题。先前的工作通过备份到词典来解决量不计的单词的翻译。在本文中,我们介绍了一种更简单,更有效的方法,通过将稀有单词和未知单词作为子单词单元的序列编码,使NMT模型能够开放式摄氏翻译 ...
尽管大型语言模型(LLM)表现出了很大的进步,但它们在与图形相关的任务方面的熟练程度仍然有限,从而阻碍了真正的通用模型的发展。先前的尝试,包括预处理基础模型或采用监督的微调,经常面临挑战,例如大规模,普遍代表的图形数据的稀缺性。我们介绍了G1,这是一种简单而有效的方法,证明了对合成图理论任务的加强学习(RL)可以显着扩展LLMS的图形推理能力 ...
我们介绍了Jina-Embeddings-V4,这是一个38亿个参数多模式嵌入模型,该模型通过新型体系结构统一文本和图像表示形式,该架构支持单矢量和多向量嵌入以后交互方式。该模型结合了特定于任务的低级适应(LORA)适配器,以优化各种检索方案的性能,包括基于查询的信息检索,跨模式语义相似性和编程代码搜索 ...
本文旨在通过长而丰富的上下文(LRC)建模来提高视频多模态大语言模型(MLLM)的性能。因此,我们开发了新版本的 InternVideo2.5,重点是增强原始 MLLM 感知细粒度细节和捕获视频中长形式时间结构的能力 ...
本文介绍了我们参加AI数学奥林匹克 - 进度奖2(AIMO -2)比赛的获胜。我们建立最先进的数学推理模型的食谱取决于三个关键支柱。首先,我们创建了一个大规模数据集,其中包括540k独特的高质量数学问题,包括奥林匹克级问题及其3 ...
深度研究系统代表了一类新兴的代理信息检索方法,该方法为复杂的查询生成了全面且支持的报告。但是,大多数现有的框架都依赖于动态的商业搜索API,除成本外,还带来了可重复性和透明度挑战。为了解决这些限制,我们引入了DeepResearchGym,这是一种开源沙箱,将可再现的搜索API与严格的评估协议相结合,用于对深度研究系统进行基准测试 ...
管理高频金融市场中指标的预测是一项艰巨的任务。一种有效的方法是监视限制订单簿的动态以识别信息边缘。本文介绍了中高价预测的高频限制订单市场的第一个公开可用的基准数据集 ...