为了改善多模式大型语言模型的（MLLM）处理图像和复杂说明的能力，研究人员主要策划大规模的视觉说明调谐数据集，这些数据集是从现有视觉任务中来自现有视觉任务或使用LLMS和图像描述的合成生成的。但是，它们通常会遭受关键缺陷，包括未对准的教学图像对和低质量的图像。此类问题阻碍了训练效率并限制了绩效的提高，因为在嘈杂或无关的数据上浪费资源对整体能力的好处最小 ...

自主代理长期以来一直是学术界和工业界的重要研究焦点。先前该领域的研究通常侧重于在孤立的环境中训练知识有限的智能体，这与人类的学习过程存在很大差异，从而使智能体难以实现类似人类的决策。最近，通过获取大量网络知识，大型语言模型（LLM）在实现人类水平的智能方面表现出了巨大的潜力 ...

物联网（IoT）中大量传感器生成的时空数据是极其动态的，异质的，大规模的和时间依赖的。它提出了巨大的挑战（例如 ...

基于大型语言模型（LLM）的代理商在各种复杂的现实世界应用中表现出强大的功能。但是，当过去的示范记录是恶意的时，具有折衷记忆库的LLM代理可能很容易产生有害输出。在本文中，我们提出了一种新颖的记忆注射攻击，即Minja，该攻击仅通过查询和输出观察结果与代理商进行交互，从而使恶意记录进入记忆库中 ...

大型语言模型（LLM）代理人越来越能够自主进行网络攻击，对现有应用构成了重大威胁。这种日益增长的风险凸显了迫切需要进行现实世界中的基准评估LLM代理利用Web应用程序漏洞的能力。但是，现有的基准缺乏，因为它们仅限于抽象的捕获国旗竞赛或缺乏全面的覆盖范围 ...

由大型语言模型（LLM）提供支持的AI代理通过实现无缝，自然和背景感知的沟通来改变人类计算机的互动。尽管这些进步提供了巨大的效用，但它们也继承并扩大了固有的安全风险，例如偏见，公平，幻觉，隐私漏洞以及缺乏透明度。本文研究了一个关键的脆弱性：针对AI代理中LLM核心的对抗性攻击 ...

尽管大型语言模型（LLM）在生成任务中取得了显着的成功，但它们仍然面临局限性，例如缺乏最新知识和产生幻觉。检索增强的生成（RAG）通过整合外部知识基础来增强LLM的性能，从而提供其他上下文，从而显着提高准确性和知识覆盖率。但是，建立这些外部知识库通常需要大量资源，并且可能涉及敏感信息 ...

（llm）（llm）相对于知识图（ kg）的推理能力，llm和kg之间交互策略的现有方法的启发 ...