通过将外部知识纳入大型语言模型（LLMS），取回索引的索引 - 回程生成范式（RAG）在解决知识密集型任务方面非常成功。但是，外部和未经验证的知识的合并会增加LLM的脆弱性，因为攻击者可以通过操纵知识来执行攻击任务。在本文中，我们引入了一个名为Saferag的基准，旨在评估抹布安全性 ...

大型基础模型彻底改变了该领域，但在优化专门视觉任务的多模式模型方面仍然存在挑战。我们提出了一种新颖的，可推广的方法，以通过测量各种输入提示的输出一致性来识别黑框视觉模型（VLM）的首选图像分布。将其应用于不同类型的3D对象的不同类型，我们演示了其在各个领域的功效，需要精确解释复杂的结构，重点是计算机辅助设计（CAD）作为示例场 ...

\ textbf {perim：}文档视觉询问答案（文档VQA）挑战多模式系统，以整体处理文本，布局和视觉方式，以提供适当的答案。由于文档量的增加和对数字化的需求越来越大，VQA近年来已广受欢迎。尽管如此，大多数文档VQA数据集都以高资源语言（例如英语）开发 ...

医学视觉问题回答（MED-VQA）是医疗保健行业的一项非常重要的任务，它以医学形象回答了自然语言问题。信息系统中的现有VQA技术可以直接应用于解决任务。但是，他们经常遭受（i）数据不足的问题，这使得很难训练特定领域特定任务的艺术状态（SOTA），以及（ii）可重复性问题，许多现有模型尚未在统一的实验设置中进行彻底评估 ...

扩展机器人数据收集对于推进通用机器人至关重要。当前的方法通常依赖于难以扩展的遥控示范。我们提出了一种新颖的数据收集方法，该方法通过利用人类的视频演示来消除对机器人硬件的需求 ...

主题模型可以是发现文档集合中潜在主题的有用工具。最近的研究表明，方法建模作为集群任务的可行性。我们提出了Bertopic，这是一个主题模型，该模型通过开发基于类TF-IDF的类别的变化来提取连贯的主题表示来扩展此过程 ...

物联网（IoT）中大量传感器生成的时空数据是极其动态的，异质的，大规模的和时间依赖的。它提出了巨大的挑战（例如 ...

大型语言模型（LLMS）在文本理解和逻辑推理方面表现出了非凡的能力，表明LLMS所学的文本表示可以促进其语言处理能力。在神经科学中，通常利用大脑认知处理信号来研究人类语言处理。因此，自然要问，LLMS的文本嵌入与大脑认知处理信号的一致性如何，以及训练策略如何影响LLM-Brain-Brain对齐方式？在本文中，我们采用代表性相似性分析（RSA）来测量大脑的23个主流LLM和FMRI信号之间的对齐方 ...