SymmetricDiffusers: Learning Discrete Diffusion on Finite Symmetric Groups

有限的对称组$ s_n $在组合，物理和化学等领域至关重要。但是，学习$ s_n $的概率分布构成了巨大的挑战，因为它的大小和离散的性质。在本文中，我们介绍了SymmetricDiffuser，这是一个新颖的离散扩散模型，通过将其分解为使用深层神经网络的更简单的反向扩散过渡，简化了对$ s_n $的复杂分布的任务 ...

Block Diffusion: Interpolating Between Autoregressive and Diffusion Language Models

扩散语言模型由于其具有并行的生成和可控性的潜力而为自回归模型提供了独特的好处，但它们的可能性模型却滞后，并且仅限于固定长度的生成。在这项工作中，我们介绍了一类块扩散语言模型，这些模型在离散的denoising扩散和自回旋模型之间插值。通过支持柔性长度的产生并通过KV缓存和平行 Token 采样来提高推理效率，克服了两种方法的关键局限性 ...

SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation

近年来，扩散模型的开发导致了图像和视频生成任务的重大进展，诸如稳定扩散系列之类的预训练模型起着至关重要的作用。受模型修剪的启发，通过删除不重要的参数来减轻大型预训练模型，我们提出了一种新型模型微调方法，以充分利用这些无效参数，并启用具有新的任务指定功能的预训练模型。在这项工作中，我们首先研究了参数在预训练的扩散模型中的重要性，并发现最小的10％至20％的参数（绝对值）对生成过程不影响 ...

DiffFit: Unlocking Transferability of Large Diffusion Models via Simple Parameter-Efficient Fine-Tuning

事实证明，扩散模型在产生高质量图像方面非常有效。但是，将大型预训练的扩散模型适应新领域仍然是一个开放的挑战，这对于现实世界应用至关重要。本文提出了Difffit，这是一种用于微调大型预训练扩散模型的参数效率策略，可以快速适应新领域 ...

Harnessing Multimodal Large Language Models for Multimodal Sequential Recommendation

大型语言模型 (LLM) 的最新进展展示了推荐系统 (RS) 领域的巨大潜力。大多数现有研究都集中在将用户行为日志转换为文本提示，并利用提示调整等技术来使 LLM 能够执行推荐任务。与此同时，最近对多模态推荐系统的研究兴趣不断增长，该系统使用模态融合技术集成来自图像、文本和其他来源的数据 ...

ViT-Lens: Towards Omni-modal Representations

为了推动AI代理，大型基础模型显着改善了推理和指导执行，但是当前对视觉和语言的关注忽略了在开放世界环境中感知各种方式的潜力。但是，数据驱动的视觉和语言模型的成功是昂贵的甚至是不可行的，无法以极少数的方式复制。在本文中，我们提出VIT-LENS-2，通过以验证的VIT感知新颖的方式并将其与预定义的空间对齐，从而促进了有效的Omni-Modal表示学习 ...

AnyTouch: Learning Unified Static-Dynamic Representation across Multiple Visuo-tactile Sensors

Visuo-Tactile传感器旨在模仿人类的触觉感知，使机器人能够精确理解和操纵物体。随着时间的流逝，许多精心设计的Visuo-Tactile传感器已集成到机器人系统中，有助于完成各种任务。但是，这些低标准的视觉触诊传感器的独特数据特性阻碍了强大的触觉感知系统的建立 ...

Masked Two-channel Decoupling Framework for Incomplete Multi-view Weak Multi-label Learning

近年来，多视图学习已成为一个流行的研究主题，但是关于经典多标签分类和多视图学习的跨应用的研究仍处于早期阶段。在本文中，我们专注于不完整的多视图多标签学习的复杂但高度现实的任务，并提出了一个基于深神经网络的掩盖的两通道解耦框架，以解决此问题。我们方法的核心创新在于将单渠道视图级表示（在深度多视图学习方法中很常见）分解为共享表示形式和视图专有表示形式 ...

Incomplete Multi-View Multi-Label Learning via Label-Guided Masked View- and Category-Aware Transformers

众所周知，多视图数据比单视图数据更具表现力，而多标签注释比单标签享有更丰富的监督信息，这使得多视图多标签学习广泛适用于各种模式识别任务。在这个复杂的表示学习问题中，可以将三个主要挑战表征如下：i）如何在所有观点中学习一致的样本表示？ ii）如何利用和利用多标签的类别相关性来指导推断？ iii）如何避免因观点或标签的不完整而产生的负面影响？为了解决这些问题，我们提出了一个一般的多视图多标签学习框架，名为标签引导的蒙版视图和类别感知的 Transformer 。首先，我们设计了两个基于 Transformer 式的模块，分别用于跨视图特征聚合和多标签分类 ...

DICNet: Deep Instance-Level Contrastive Network for Double Incomplete Multi-View Multi-Label Classification

近年来，多视图多标签学习引起了广泛的研究热情。但是，由于数据收集和手动注释的不确定因素，现实世界中的多视标性数据通常是不完整的，这意味着不仅缺少多视图功能，而且标签完整性也很难得到满足。为了解决双重不完整的多视图多标签分类问题，我们提出了一个深层实例级的对比网络，即DICNET ...