当前的文献旨在超越“思想链”，通常诉诸外部操作方式，包括停止、修改然后恢复生成过程，llm）（llm）的推理能力。由于他们的短视观点 ...

大型视觉语言模型（LVLM）中语言和视觉的融合通过增强了传统体系结构以外的适应性，上下文推理和概括，从而彻底改变了基于学习的对象检测。这篇深入的评论提出了对LVLMS最先进的结构化探索，该探索是通过三步研究审查过程系统地组织的。首先，我们讨论视觉语言模型（VLM）的功能，以描述这些模型如何利用自然语言处理（NLP）和计算机视觉（CV）技术，以彻底改变对象检测和本地化 ...

大型多模型模型患有多模式幻觉，在该模型中，它们提供了与给定的视觉信息未对准的不正确响应。最近的作品猜想多模式幻觉背后的原因之一是由于视觉编码器未能正确地扎根。为了减轻这个问题，我们提出了一种新的方法，该方法利用自我反馈作为视觉提示 ...

我们调查了预训练基础模型在机器人领域的应用。机器人领域的传统深度学习模型是在针对特定任务定制的小型数据集上进行训练的，这限制了它们在不同应用程序中的适应性。相比之下，在互联网规模数据上预训练的基础模型似乎具有卓越的泛化能力，并且在某些情况下表现出为训练数据中不存在的问题找到零样本解决方案的新兴能力... ...

该技术报告介绍了2023年中期发布的开源多语言E5文本嵌入模型的培训方法和评估结果。提供了三种不同尺寸的嵌入模型（小 /碱 /大），在推理效率和嵌入质量之间提供平衡。培训程序遵守英语E5模型配方，涉及10亿多语言文本对的对比预训练，然后对标记的数据集进行微调 ...

基于摄像机的人员重新识别（REID）系统已被广泛应用于公共安全领域。但是，相机通常缺乏对人类3D形态信息的看法，并且容易受到各种局限性的影响，例如照明，复杂的背景和个人隐私。在本文中，我们提出了一个基于激光雷达的REID框架REID3D，该框架利用预训练策略来检索3D身体形状的功能，并介绍基于图的互补增强编码器，以提取全面的功能 ...

现代的多模式大型语言模型通常声称“视频理解”，但是大多数评估都使用静音视频或简单地丢弃音频。我们提出一个直接问题：音频对当代视频插件和证明它们的基准有多大重要？我们审核了广泛使用的套件，并观察到许多项目甚至可以从单个框架中求解，从而使音频基本上是多余的。在Llava-onevision架构的基础上，我们附加了语音/音频编码器（e ...

大型视觉语言模型（L-VLM）在各种视觉和语言任务中表现出了出色的表现，包括视觉问答答案（VQA）。但是，它们的高计算成本使它们对于资源受限的设置和较重的应用程序不切实际。相比之下，小型视觉模型（S-VLM）提供了效率，但与较大的同行相比，性能差距很大 ...