Large-Margin Softmax Loss for Convolutional Neural Networks

交叉熵损失与 softmax 一起可以说是卷积神经网络 (CNN) 中最常用的监督组件之一。尽管该组件简单、流行且性能出色，但它并没有明确鼓励特征的判别性学习。在本文中，我们提出了一种广义的大裕度softmax（L-Softmax）损失，它明确鼓励学习特征之间的类内紧凑性和类间可分离性 ...

Xformer: Hybrid X-Shaped Transformer for Image Denoising

在本文中，我们提出了一种混合 X 形视觉 Transformer，名为 Xformer，它在图像去噪任务上表现出色。我们探索加强不同范围 Token 的全球代表性。具体来说，我们采用两种类型的 Transformer 块 ...

XNOR-Net++: Improved Binary Neural Networks

本文提出了一种改进的二元神经网络训练算法，其中权重和激活都是二进制数。当前最先进的 XNOR-Net 方法的一个关键但相当被忽视的特征是使用分析计算的实值缩放因子来重新加权二进制卷积的输出。我们认为这些因素的分析计算不是最优的 ...

BinaryViT: Pushing Binary Vision Transformers Towards Convolutional Models

随着视觉变换器 (ViT) 的日益普及和尺寸的不断增大，人们越来越有兴趣使其在计算资源有限的边缘设备上部署时更加高效且计算成本更低。当权重和激活为二进制时，使用 popcount 运算，二值化可帮助显着减小 ViT 模型的大小及其计算成本。然而，当直接应用卷积神经网络（CNN）二值化方法或现有的二值化方法对 ViT 进行二值化时，与 ImageNet-1k 等具有大量类别的数据集上的 CNN 相比，ViT 的性能下降更大 ...

GeoDiff: a Geometric Diffusion Model for Molecular Conformation Generation

从分子图预测分子构象是化学信息学和药物发现中的一个基本问题。最近，机器学习方法，特别是深度生成模型取得了重大进展。受经典非平衡热力学中受热粒子从原始状态扩散到噪声分布的扩散过程的启发，我们提出了一种名为 GeoDiff 的新型生成模型，用于分子构象预测 ...

Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization

Gatys等人最近推出了一种神经算法，可以将一幅内容图像渲染为另一幅图像的风格，实现所谓的风格迁移。然而，他们的框架需要缓慢的迭代优化过程，这限制了其实际应用 ...

Diffusion Models for Implicit Image Segmentation Ensembles

扩散模型在图像生成建模方面表现出了令人印象深刻的性能。在本文中，我们提出了一种基于扩散模型的新颖语义分割方法。通过修改训练和采样方案，我们表明扩散模型可以执行医学图像的病变分割 ...

Accelerating Diffusion Models via Pre-segmentation Diffusion Sampling for Medical Image Segmentation

基于去噪扩散概率模型（DDPM），医学图像分割可以被描述为条件图像生成任务，它允许计算分割的像素级不确定性图，并允许分割的隐式集成来提高分割性能。然而，DDPM 需要许多迭代去噪步骤来从高斯噪声生成分割，导致推理效率极低。为了缓解这个问题，我们提出了一种有原则的加速策略，称为预分割扩散采样DDPM（PD-DDPM），专门用于医学图像分割 ...

SegDiff: Image Segmentation with Diffusion Probabilistic Models

采用扩散概率方法来生成最先进的图像。在这项工作中，我们提出了一种扩展此类模型以执行图像分割的方法。该方法进行端到端学习，不依赖于预先训练的主干网络 ...

GMMSeg: Gaussian Mixture based Generative Semantic Segmentation Models

流行的语义分割解决方案本质上是p（类|像素特征）的密集判别分类器。虽然很简单，但这种事实上的范式忽略了底层数据分布 p(像素特征|类)，并且很难识别分布外的数据。除此之外，我们提出了 GMMSeg，这是一个新的分割模型系列，它依赖于联合分布 p（像素特征，类）的密集生成分类器 ...