随着基于网络的学术出版物的快速增长，每年发表的论文越来越多，使得找到相关的先前工作变得越来越困难。引文预测旨在自动建议适当的参考文献，帮助学者浏览不断扩大的科学文献。在这里，我们提出 \textbf{CiteRAG}，这是第一个综合检索增强生成 (RAG) 集成基准，用于评估学术引文预测的大型语言模型，具有多级检索策略、专门的检索器和生成器。我们的基准做出了四个核心贡献：（1）我们建立了两个不同粒度的引文预测任务实例。任务 1 侧重于粗粒度的特定于列表的引文预测，而任务 2 的目标是细粒度的特定于位置的引文预测。为了增强这两项任务，我们构建了一个数据集，其中包含任务 1 的 7,267 个实例和任务 2 的 8,541 个实例，从而能够对检索和生成进行综合评估。 (2) 我们使用增量管道构建了一个三级大型语料库，包含 554k 篇论文，涵盖许多主要子领域。 (3) 我们提出了一种用于引文预测的多级混合 RAG 方法，通过对比学习微调嵌入模型以捕获复杂的引文关系，并与专门的生成模型配对。 (4) 我们对最先进的语言模型进行了广泛的实验，包括闭源 API、开源模型和我们微调的生成器，证明了我们框架的有效性。我们的开源工具包支持可重复的评估，并专注于学术文献，为引文预测提供第一个综合评估框架，并作为其他科学领域的方法模板。我们的源代码和数据在此 https URL 发布 ...
学习表示是现代机器学习系统的核心组件，服务于众多下游任务。在训练此类表示时，通常情况下每个下游任务的计算和统计约束都是未知的。在这种情况下，僵化的、固定的能力表示可能会过度或无法适应手头的任务。这让我们不禁要问：我们能否设计一种灵活的表示形式，能够适应具有不同计算资源的多个下游任务？我们的主要贡献是俄罗斯套娃表示学习（MRL），它以不同的粒度对信息进行编码，并允许单个嵌入适应下游任务的计算约束。 MRL 最大限度地修改了现有的表示学习管道，并且在推理和部署期间不会产生额外成本。 MRL 学习从粗到细的表示，这些表示至少与独立训练的低维表示一样准确和丰富。学习到的 Matryoshka 表示的灵活性提供：(a) 在相同精度水平下，ImageNet-1K 分类的嵌入大小最多可缩小 14 倍； (b) ImageNet-1K 和 4K 上的大规模检索速度提升高达 14 倍的实际速度； (c) 长尾少样本分类的准确率提高了 2%，同时与原始表示一样稳健。最后，我们证明 MRL 可以跨各种模式无缝扩展到网络规模的数据集（ImageNet、JFT）——视觉（ViT、ResNet）、视觉 + 语言（ALIGN）和语言（BERT）。 MRL 代码和预训练模型在此 https URL 上开源 ...
大型语言模型的最新进展已大大加快了其在医疗保健应用中的采用，包括AI驱动的医疗咨询，诊断报告帮助和医疗搜索工具。但是，医疗任务通常需要高度专业化的知识，专业准确性和自定义功能，因此需要建立强大而可靠的基础模型。 Quarkmed通过利用精选的医疗数据处理，医学检索效果（RAG）以及大规模，可验证的增强学习管道来开发高性能医疗基础模型，从而满足了这些需求 ...
大型推理模型（LRMS），例如DeepSeek-R1和OpenAI O1，在各种推理任务中表现出了非凡的功能。他们在中间思想上产生和理性的强大能力也导致了论点，即他们可能不再需要广泛的及时工程或优化来解释人类的指示并产生准确的输出。在这项工作中，我们旨在使用案例研究的事件提取的结构化任务来系统地研究这个空旷的问题 ...
我们提出了HealthGpt，这是一种强大的医学大型视觉模型（MED-LVLM），该模型将医学视觉理解和发电能力集成到统一自动回归范式中。我们的引导理念是逐步将异质的理解和发电知识适应预先训练的大语言模型（LLMS）。这是通过一种新型的异质低级适应（H-Lora）技术来实现的，该技术通过量身定制的层次视觉感知方法和三阶段的学习策略来补充 ...
近年来，大型语言模型（LLMS）在各种任务中都表现出了显着改进，其中之一是长篇文化功能。改善长期绩效的关键在于有效的数据组织和管理策略，这些策略将来自多个领域的数据集成并在培训过程中优化上下文窗口。通过广泛的实验分析，我们确定了设计有效的数据管理策略的三个关键挑战，这些策略使该模型能够实现长篇小说能力，而无需牺牲其他任务的绩效：（1）多个领域的长期文档短缺，（2）有效地构建上下文窗口，以及（3）大型数据集的有效组织 ...
大规模的预处理模型，尤其是大型语言模型（LLM），由于其新兴特性，在处理多个域名的多个任务方面表现出显着的功能。在监督的微调（SFT）阶段，进一步增强了这些功能。尽管它们具有潜力，但现有的工作主要集中于微调期间特定领域的增强功能，其挑战在于灾难性的忘记其他领域的知识 ...