层次训练后量化已成为一种广泛使用的技术，用于压缩大型语言模型（LLMS）而无需重新培训。但是，这一研究的最新进展是饱和，强调了重新审视其核心限制并探索进一步改进的必要性。这项研究确定了现有的层PTQ方法中的关键瓶颈：跨层的量化错误的积累大大降低了性能，尤其是在低位方案中 ...

多元神经元 - 激活一组无关特征的神经元被视为朝着任务优化深网的解释性的重要障碍，对AI安全的影响。多功能性的经典起源故事是，与神经元相比，数据包含更多的``功能''，以便学习执行网络以将多个无关的特征共同分配到同一神经元上的多个非相关特征，从而危及我们的内部处理能力。在这项工作中，我们提出了第二个和非急性排除的多重源性的多源性来源 ...

我们提出\ textit {MagicColor}，这是一个基于扩散的框架，用于多个实体草图着色。多企业2D系列艺术色彩的生产遵循行业标准的工作流程，该工作流程包括三个关键阶段：线条艺术角色的设计，各个对象的着色和改进过程。需要艺术家重复对每个实例逐一着色的过程，这是不准确且效率低下的 ...

培训数据归因（TDA）方法旨在将模型输出归因于特定的培训示例，并且将这些方法应用于大语言模型（LLM）输出可以显着提高模型透明度和数据策展。但是，迄今为止，将这些方法应用于LLM预训练的整体规模一直是一项挑战。在本文中，我们完善了现有的基于梯度的方法以在大规模上有效工作，从而使我们能够从超过160b的 Token 中的8B参数语言模型中检索有影响力的例子，而无需进行下采样或预滤器 ...

对边界区域的精确预测对于语义分割至关重要。但是，常用的卷积操作员倾向于平滑局部细节线索，使深层模型难以产生准确的边界预测。在本文中，我们介绍了一种运算符级别的方法来增强语义边界意识，以改善深层语义分割模型的预测 ...

偏好优化技术（例如直接偏好优化（DPO））经常用于增强数学推理和编码等领域中大语言模型（LLMS）的推理能力，通常是在受监督的微调之后进行的。这些方法依靠高质量的标签来推理任务来生成偏好对；但是，具有人验证的标签的推理数据集的可用性是有限的。在这项研究中，我们介绍了一种新颖的方法，通过构建解决方案的标签以将问题作为针对相关测试案例的评估来生成推理任务的伪反馈 ...

基于指令的图像编辑可以通过自然语言提示进行鲁棒的图像修改，但是当前的方法面临着精确的效率折衷。微调方法需要大量的计算资源和大型数据集，而无培训技术则与教学理解和编辑质量斗争。我们通过利用大规模扩散 Transformer （DIT）的增强的发电能力和本地情境意识来解决这一难题 ...

自从多模态大型语言模型 (MLLM) 出现以来，它们对广泛的现实应用产生了重大影响，特别是在自动驾驶 (AD) 领域。它们处理复杂视觉数据和推理复杂驾驶场景的能力为端到端自动驾驶系统的新范例铺平了道路。然而，开发 AD 端到端模型的进展缓慢，因为现有的微调方法需要大量资源，包括广泛的计算能力、大规模数据集和大量资金 ...