与周围摄像机的3D对象检测是自动驾驶的有希望的方向。在本文中，我们提出了Simmod，这是一个简单的多相机对象检测的基线，以解决问题。为了合并多视图信息，并基于以前对单眼3D对象检测的努力，该框架建立在样本的对象建议基础上，并旨在以两阶段的方式工作 ...
大型视觉模型（LVLM）的最新进展已实现了端到端文档图像解析的新范式，在光学角色识别（OCR）任务（例如文本，表格和公式识别）方面具有出色的范围。但是，与大型语言模型（LLM）相似的生成LVLM容易幻觉 - 输入图像中不存在的单词。此外，LVLM是为了一般目的而设计的，并且与在特定于域的数据集中培训的专家模型相比，OCR任务的有效性较低 ...
大型语言模型（LLMS）在知识密集型推理任务（例如经典的多跳问题和回答）中面临挑战，这涉及跨多个事实的推理。之所以出现这种困难，是因为LLM在此类任务中产生的思想链（COT）通常偏离实际或先验推理路径。相比之下，知识图（kgs）明确表示通过实体和关系之间事实之间的逻辑联系 ...
视觉和语言导航（VLN）系统通常专注于离散（全景）或连续（自由动作）范式，忽视了人填充的动态环境的复杂性。我们引入了统一的人类意识VLN（HA-VLN）基准，该基准在明确的社会意识约束下合并了这些范式。我们的贡献包括：1 ...
人工智能（AI）代理商已从专业的，基于规则的程序迅速发展为能够在复杂环境中进行感知，推理和行动的多功能，学习驱动的自主系统。数据的爆炸，深度学习的进步，强化学习和多机构协调加速了这一转变。然而，设计和部署统一的AI代理商无缝整合认知，计划和互动仍然是一个巨大的挑战 ...
纯时间序列预测任务通常专门关注数值特征；但是，现实世界中的财务决策需要比较和分析异质信息来源。深度学习和大规模语言模型（LLM）的最新进展已在捕获情感和其他定性信号方面取得了重大进步，从而提高了财务时间序列预测的准确性。尽管有这些进展，但大多数现有的数据集仅由价格序列和新闻文本组成，仅限于单个市场，并且规模仍然有限 ...
视频字幕结合了视频理解和语言的产生。与描述静态图像的图像字幕不同，几乎每个对象的详细信息，视频字幕通常都会考虑一系列框架和偏见，以指向集中的对象，例如 ...
视频数据，尤其是长格式视频，非常密集且高维。基于文本的视频内容摘要提供了一种以比原始视频更紧凑的方式表示与查询相关的内容的方法。此外，文本表示很容易被最先进的大语言模型（LLMS）摄入，这使视频内容的推理能够回答复杂的自然语言查询 ...
互联网实时流媒体广泛用于在线娱乐和电子商务中，现场广告是锚点的重要营销工具。一项广告活动希望在限制下（例如预算和单击成本）最大化效果（例如转换）。广告系列的主流控制是自动投标的，该绩效取决于每个请求中竞标算法的决定 ...
我们介绍了Internvl 3.5，这是一个新的开源多模型系列，可在Intervl系列中显着提高多功能性，推理能力和推理效率。一个关键的创新是Cascade增强学习（Cascade RL）框架，它通过两个阶段的过程增强了推理：离线RL稳定收敛和在线RL以进行精制对齐 ...