大型语言模型〜（llms）容易幻觉，而检索发达的一代（RAG）有助于减轻这种情况，但在冒着错误信息的同时，计算成本高。自适应检索旨在仅在必要时检索，但是现有的方法取决于基于LLM的不确定性估计，这些不确定性估计效率低下且不切实际。在这项研究中，我们介绍了基于外部信息的轻量级LLM独立的自适应检索方法 ...
视觉和语言基础模型在多模式理解，推理和发电中的显着进步引发了越来越多的努力，将这种智力扩展到物理世界，从而助长了视觉语言行动（VLA）模型。尽管看似多样化的方法，但我们观察到当前的VLA模型可以在一个框架下统一：视觉和语言输入是由一系列VLA模块处理的，生成了\ textit {Action Tokens}的链条，该链逐渐编码了更接地和可动的信息，最终使可行的动作产生了可执行的动作。我们进一步确定，区分VLA模型的主要设计选择在于如何制定动作 Token ，可以将其分类为语言描述，代码，负担能力，轨迹，目标状态，潜在表示，原始动作和推理 ...
最近的3D Medical Vit（例如Swinunetr）在几个3D体积数据基准（包括3D医疗图像分割）上实现了最新的性能 ...
行为的量化对于从神经科学，兽医医学和动物保护工作等方面的应用至关重要。行为分析的一个常见关键步骤是首先提取有关动物的相关关键，称为姿势估计。但是，当前对姿势的可靠推断需要域知识和手动标签工作来构建监督模型 ...
Expert（MOE）的混合物通过选择性地激活名为\ Emph {Experts}的不同子网来胜过传统模型。该封闭式计算会产生无法事先确定的动态通信，从而挑战了在分布式培训过程中保留\ emph {static}的现有GPU互连。在本文中，我们主张一个名为Mfabric的首个系统，该系统解锁了拓扑重新配置\ emph {在}分布的MOE培训 ...
消息传递图神经网络（GNN）虽然擅长捕获局部关系，但常常难以应对图的远程依赖性。相反，图转换器（GT）允许所有节点之间进行信息交换，但通过将它们视为一组固定长度的向量来过度简化图结构。这项工作提出了一种新颖的架构 NeuralWalker，它通过将随机游走与消息传递相结合来克服这两种方法的局限性 ...
多跳问题回答（MHQA）涉及跨多个文档推理以回答复杂问题。密集的检索器通常通过利用语义嵌入（例如BM25）优于稀疏方法；但是，它们需要标记为查询文件对进行微调。由于在整个推理步骤中查询（重新计算）问题的高度差异，这在MHQA中构成了重大挑战 ...
AI代理商经历了范式的转变，从增强学习（RL）的早期统治到由大语言模型（LLMS）提供支持的代理商的兴起，现在进一步迈向了RL和LLM功能的协同融合。这种进展已使AI代理具有越来越强大的能力。尽管有这些进步，要完成复杂的现实世界任务，需要代理才能有效地计划和执行，保持可靠的内存并与其他代理平稳协调 ...
大型语言模型需要大量的GPU内存，从而限制了选择大型模型的选择。虽然名为Qlora的低级适应技术的量化版本大大减轻了这个问题，但发现有效的洛拉等级仍然具有挑战性。此外，Qlora接受了预定义的等级的培训，因此，在不需要进一步的微调步骤的情况下，无法重新配置其较低的等级 ...
联合的微调（FEDFT）为对隐私敏感的场景提供了微调大语言模型（LLM）的有效范式。但是，由于最终设备的资源有限，实际部署仍然具有挑战性。现有方法通常利用参数有效的微调（PEFT）技术，例如低级适应（LORA），从而大大减少了通信开销 ...