在语言模型中理解和操纵因果生成机制对于控制其行为至关重要。以前的工作主要依赖于诸如表示手术之类的技术,例如 ...
由于其在推理过程中搜索的能力,推理模型在数学和逻辑推理等任务上取得了出色的性能。但是,即使达到正确的答案,他们仍然会遭受过度思考的痛苦,通常会执行不必要的推理步骤。这提出了一个问题:模型可以评估推理过程中其中间答案的正确性吗?在这项工作中,我们研究推理模型是否通过探测模型的隐藏状态来编码有关答案正确性的信息 ...
我们研究了如何使用扩散模型先验解决涉及视频的一般贝叶斯逆问题。虽然希望在有效捕获复杂的时间关系之前使用视频扩散,但由于训练这种模型的计算和数据要求,但先前的工作依赖于单帧与启发式方法上的图像扩散先验来实现时间一致性。但是,这些方法在忠实地恢复基本的时间关系方面挣扎,特别是对于时间不确定性高的任务 ...
体现的系统不仅必须对外部世界的模式进行建模,而且还必须了解其自身的运动动态。运动动态模型对于有效的技能获取和有效计划至关重要。在这项工作中,我们介绍了神经运动模拟器(MOSIM),该模型是一个世界模型,该模型可根据当前的观察和行动来预测体现系统的未来物理状态 ...
卷积层是现代深层神经网络的基本基础之一。一个基本的假设是,应在数据集中的所有示例共享卷积内核。我们提出了有条件的参数化卷积(CondConv),该卷积会为每个示例学习专门的卷积内核 ...
现有的基于点云的3D检测器是为室内或室外场景设计的。由于从各种环境中收集的点云中的对象分布和点密度存在很大的差异,再加上3D指标的复杂性质,因此仍然缺乏可以容纳各种场景的统一网络体系结构。在本文中,我们提出了Uni3Detr,这是一个统一的3D检测器,该检测器涉及同一框架内室内和室外3D检测 ...
在顺序推荐任务中,推荐人通常从用户的历史行为中学习多个嵌入,以吸引用户的多样化兴趣。然而,现有方法仅针对相应的子序列独立提取每个兴趣,同时忽略了整个互动顺序的全局相关性,这可能无法捕获用户对潜在兴趣概括的固有偏好,并且不可避免地会使推荐的项目均匀地与历史行为。在本文中,我们提出了一个新颖的双尺度提取框架(DSIE),以精确估计用户当前的利益 ...
密集的神经文本检索已在开放域问题回答(QA)上取得了令人鼓舞的结果,在此过程中,在检索过程中利用了问题和段落的潜在表示,以最大程度地搜索内部产品搜索。但是,当前密集的检索器需要将文档分成短段落,这些文档通常包含局部,部分,有时是有偏见的上下文,并且高度依赖于分裂过程。结果,它可能会产生不准确和误导性的隐藏表示形式,从而恶化最终检索结果 ...