终身学习使大型语言模型（LLMS）通过不断更新其内部知识来适应不断发展的信息。理想的系统应支持高效，广泛的更新，同时保留现有功能并确保可靠的部署。模型编辑是该目标的有前途的解决方案，提供了一种重点，有效的方法来修改模型的内部知识 ...
大型语言模型（LLMS）需要连续更新，以随着世界的发展而保持准确和当前的知识。尽管现有的知识编辑方法为知识更新提供了各种解决方案，但他们经常在顺序编辑方案和损害模型的一般功能方面遇到艰难，从而极大地阻碍了其实际适用性。本文提出了一个两阶段的框架，将强大的监督微调（R-SFT）与模型合并以进行知识编辑结合在一起 ...
我们解决了如何在保留先前添加的知识的同时，如何将新知识连续添加新知识的问题。我们考虑两种设置，即半合作和完全合件。总体而言，在大多数情况下，洛拉在大多数情况下都比所有参数的全面调整都更好，而新的知识获取和保留了旧的知识，包括最近的知识 ...
知识编辑旨在更新大语言模型（LLMS）中的嵌入式知识。但是，现有方法，无论是通过参数修改还是外部内存集成，通常都遭受不一致的评估目标和实验设置。为了解决这一差距，我们进行了全面的基准测试研究 ...
大型语言模型（LLMS）通常会产生不正确或过时的信息，需要有效而精确的知识更新。但是，当前的模型编辑方法但是，以各种格式（例如诗歌，代码片段和数学派生）的长期知识斗争。这些局限性源于它们依赖编辑单个 Token 的隐藏状态，这是我们称为“功效障碍”的限制 ...
模因已成为一种强大的交流形式，将视觉和文本元素整合在一起，以传达幽默，讽刺和文化信息。现有的研究主要集中在情感分类，模因产生，传播，解释，象征性语言和社会语言学等方面，但经常忽略了更深入的模因理解和模因文本检索。为了解决这些差距，这项研究介绍了Classicmemes-50-templates（CM50），这是一个由33,000多个模因组成的大规模数据集，集中在50个流行的模因模板上 ...
开发开源基础模型对于推进音乐音频理解的研究和确保获得功能强大的多功能表示以进行音乐信息检索至关重要。我们提出了Omar-RQ，这是一种模型，该模型通过使用掩盖的 Token 分类方法训练了自我训练，并使用具有超过330,000个小时的音乐音频的大规模数据集进行了掩盖的分类方法。我们尝试不同的输入功能和量化选项，并在音乐标记，音高估算，和弦识别，节拍跟踪，细分和难度估计中实现最新性能 ...
地球卫星的连续操作产生了遥不可及的遥感（RS）图像档案。自然语言提出了一个直观的界面，用于访问，查询和解释此类档案的数据。然而，现有的视觉模型（VLM）主要是在网络结束的，嘈杂的图像文本数据上训练的，表现出对RS专业领域的有限接触 ...
我们介绍了GPTAQ，这是一种新颖的无芬量量化方法，用于压缩大型 Transformer 体系结构。与以前独立校准每层校准的GPTQ方法不同，我们始终将量化层的输出与完整模型中的精确输出匹配，从而导致了一种我们称为不对称校准的方案。这样的方案可以有效地减少先前层中累积的量化误差 ...
矢量量化的变分自动编码器（VQ-VAE）是将连续视觉数据压缩为离散 Token 的基本模型。现有方法试图改善量化策略以提高重建质量，但是，VQ-VAE和VAE之间仍然存在很大的差距。为了缩小这一差距，我们提出了\ nickname，这是一种增强离散代码书的表示能力的新颖方法，促进了对代码书的更轻松优化并最大程度地减少信息丢失，从而提高了重建质量 ...