打赏本站
支付宝
触摸是人类重要的感知方式，但尚未被纳入多模态生成语言模型中。这部分是由于获得触觉数据的自然语言标签的困难以及将触觉读数与视觉观察和语言描述对齐的复杂性。作为弥补这一差距的一步，这项工作引入了一个包含 44K 个野外视觉-触摸对的新数据集，其中包含由人类注释的英语标签 (10%) 和来自 GPT-4V 的文本伪标签 (90%) ...
将触摸与其他方式联系起来的能力对人类和计算系统具有巨大的影响。然而，由于昂贵的数据收集过程和非标准化的传感器输出，触摸多模态学习仍然具有挑战性。我们推出 UniTouch，这是一种基于视觉的触摸传感器的统一触觉模型，可连接到多种模式，包括视觉、语言和声音 ...
一项新兴的工作试图通过触摸产生可信的图像。然而，现有方法仅解决视觉触觉合成问题的狭窄方面，并且明显落后于其他领域的跨模态合成方法的质量。我们利用潜在扩散的最新进展，创建了一个从触觉信号合成图像的模型（反之亦然），并将其应用于许多视觉触觉合成任务 ...
这项研究通过将微调的大语言模型 (LLM) 与向量数据库无缝集成，对检索增强生成 (RAG) 系统进行了创新性增强。这种集成利用了结构化数据检索的综合优势和高级 LLM 提供的细致入微的理解。我们方法的核心是 LoRA 和 QLoRA 方法，它们通过参数高效的微调和内存优化处于模型细化的最前沿 ...
尽管大型语言模型 (LLM) 在不同的应用程序中具有令人印象深刻的功能，但它们仍然存在可信度问题，例如幻觉和错位。检索增强语言模型（RAG）已被提出来通过基于外部知识来提高世代的可信度，但对其世代风险的理论理解仍有待探索。在本文中，我们回答：1）RAG 是否确实可以降低发电风险，2）如何为 RAG 和普通 LLM 的发电风险提供可证明的保证，3）什么充分条件使 RAG 模型能够降低发电风险 ...
深度生成模型开启了人类创造力的另一个深刻领域。通过捕获和概括数据中的模式，我们已经进入了全方位人工智能促进通用创造力（AIGC）的时代。值得注意的是，扩散模型被认为是最重要的生成模型之一，它将人类的观念具体化为跨不同领域的有形实例，包括图像、文本、语音、生物学和医疗保健 ...
随着大型语言模型 (LLM) 的出现，对话助理在领域用例中变得越来越普遍。 LLM 通过培训获得上下文问答的能力，检索增强生成（RAG）进一步使机器人能够回答特定领域的问题。本文介绍了一种基于 RAG 的方法，用于构建使用常见问题 (FAQ) 数据回答用户查询的聊天机器人 ...
模型算法的进步、可扩展的基础模型架构以及充足的高质量数据集的可用性促进了人工智能生成内容（AIGC）的发展。尽管 AIGC 取得了令人瞩目的表现，但它仍然面临着挑战，例如难以维护最新的长尾知识、数据泄露的风险以及与训练和推理相关的高成本。检索增强生成（RAG）最近成为解决此类挑战的范例 ...
检索增强生成（RAG）通过检索相关知识来增强大语言模型（LLM），在减轻 LLM 幻觉和提高响应质量方面显示出巨大的潜力，从而促进 LLM 在实践中的广泛采用。然而，我们发现现有的 RAG 系统不足以回答多跳查询，这需要对多个支持证据进行检索和推理。此外，据我们所知，现有的 RAG 基准测试数据集还没有关注多跳查询 ...
这项调查探讨了大型语言模型 (LLM) 和向量数据库 (VecDB) 的协同潜力，这是一个新兴但快速发展的研究领域。随着 LLM 的激增，带来了一系列挑战，包括幻觉、过时的知识、高昂的商业应用成本和内存问题。 VecDB 通过提供一种有效的方法来存储、检索和管理 LLM 操作固有的高维向量表示，成为解决这些问题的引人注目的解决方案 ...