大型语言模型（LLMS）表现出强大的推理能力，尤其是通过增强学习（RL）增强时。虽然先前的工作已成功地将RL应用于数学推理（规则和正确性是明确定义的），将这些方法推广到更广泛的推理领域，由于数据有限，缺乏可验证的奖励结构以及各种任务要求，因此仍然具有挑战性。在这项工作中，我们提出了Nemotron-Crossthink，该框架系统地结合了多域中的Corpora，包括综合和现实的问题 - 答案对，以 ...
信息检索已从独立系统转变为跨更广泛应用的基本组件，索引效率，成本效益和新鲜度变得越来越关键，但经常被忽视。在本文中，我们引入了半参数散开检索（SIDR），这是一种双重编码器检索框架，将从神经参数取回检索指数以实现有效的，低成本和参数 - 不可能的索引，以实现出现的用例。具体而言，除了将嵌入式用作现有神经检索方法之类的索引外，SIDR还支持非参数 Token 化指数用于搜索，从而达到了BM25样索引 ...
我们提出了Kimi-Audio，这是一种开源音频基础模型，在音频理解，发电和对话方面表现出色。我们详细介绍了建立Kimi-Audio的实践，包括模型架构，数据策展，培训配方，推理部署和评估。具体来说，我们利用12 ...
扩散模型已经达到了显着的视觉产生质量。但是，他们在资源受限的移动设备甚至台式机GPU上的应用程序的应用构成了巨大的计算和内存构成挑战。最近的几步扩散模型通过减少降解步骤来减少推理时间 ...
数据库系统通常依赖历史查询跟踪来执行基于工作负载的性能调整。然而，实际生产工作负载是随时间变化的，使得历史查询对于优化未来工作负载无效。为了应对这一挑战，我们提出了sibyl，这是一种基于端到端机器学习的框架 ...
Does RAG Introduce Unfairness in LLMs? Evaluating Fairness in Retrieval-Augmented Generation Systems
抹布（检索型的一代）最近因其在开放域问答（QA）任务中整合外部知识来源的能力而引起了极大的关注。但是，尚不清楚这些模型如何解决公平关注的问题，尤其是在诸如性别，地理位置和其他人口统计学因素等敏感属性方面。首先，随着语言模型的发展以优先考虑实用程序，例如提高确切的匹配准确性，公平性可能在很大程度上被忽略了 ...
3D占用预测是以视觉为中心自动驾驶的鲁棒性的重要任务，该任务旨在预测每个点是否在周围的3D空间中占据。现有方法通常需要3D占用标签来产生有意义的结果。但是，注释每个体素的占用状态非常费力 ...
文本到SQL提示基于大语言模型（LLM）的策略在众所周知的基准上实现了显着的性能。但是，当应用于现实世界数据库时，它们的性能明显少于这些基准，尤其是对于自然语言（NL）问题，需要处理复杂的过滤器和加入。然后，本文提出了一种策略，将NL问题编译到SQL查询中，该查询包含了动态的几示示例策略，并利用数据库关键字搜索（KWS）平台提供的服务 ...
