在深度学习中,神经网络是输入数据及其表示之间的嘈杂渠道。这种观点自然地将深度学习与追求在信息传输和表示方面具有最佳性能构建渠道的追求。尽管在网络优化期间,大量的努力集中在实现最佳的信道特性上,但我们研究了可以将神经网络朝向最佳渠道初始化的可能性 ...

0 0 0 0 2025/02/15 arXiv:2212.01744v1 parsifalster

大型语言模型(LLM)表现出了令人印象深刻的表现。要了解他们的行为,我们需要考虑LLM有时显示定性变化的事实。自然世界还提出了这种变化称为相变的变化,这些变化是由单数,不同的统计量定义的 ...

0 0 0 0 2025/02/13 arXiv:2406.05335v2 parsifalster

可以从随机采样高斯噪声中产生高质量数据的扩散模型已成为学术界和工业的主流生成方法。随机采样的高斯噪声是否同样适合扩散模型?尽管大量作品试图理解和改善扩散模型,但以前的作品忽略了选择或优化采样噪声的可能性,因此选择或优化采样的噪声以改善扩散模型的可能性。在本文中,我们主要做出了三项贡献 ...

0 0 0 0 2025/02/02 arXiv:2407.14041v2 parsifalster

本专着介绍了凸优化中的主要复杂性定理及其相应的算法。该材料从黑盒优化的基本理论出发,逐步介绍了结构优化和随机优化的最新进展。我们对黑盒优化的介绍深受 Nesterov 的开创性著作和 Nemirovski 的讲义的影响,包括对剖切面方法以及(加速)梯度下降方案的分析 ...

0 0 0 0 2024/12/29 arXiv:1405.4980v2 parsifalster

为了实现最高的感知质量,最先进的扩散模型进行了优化,其目标通常看起来与最大似然和证据下界 (ELBO) 目标非常不同。在这项工作中,我们揭示了扩散模型目标实际上与 ELBO 密切相关。具体来说,我们表明所有常用的扩散模型目标都相当于不同噪声水平上 ELBO 的加权积分,其中权重取决于所使用的特定目标 ...

0 0 0 0 2024/12/28 arXiv:2303.00848v7 parsifalster

去噪扩散概率模型 (DDPM) 可以生成高质量的样本,例如图像和音频样本。然而,DDPM 需要数百到数千次迭代才能生成最终样本。之前的几项工作已经通过调整方差计划(例如, ...

0 0 0 0 2024/12/28 arXiv:2202.09778v2 parsifalster

在机器学习和生物学的融合中,我们揭示了扩散模型是进化算法。通过将进化视为去噪过程并将逆进化视为扩散,我们从数学上证明了扩散模型本质上执行进化算法,自然地包含选择、突变和生殖隔离。基于这种等价性,我们提出了扩散进化方法:一种利用迭代去噪的进化算法(最初是在扩散模型的背景下引入的)来启发式地细化参数空间中的解决方案 ...

0 0 0 0 2024/12/28 arXiv:2410.02543v2 parsifalster

去噪扩散模型在图像编辑中表现出了出色的性能。现有的作品倾向于使用图像引导方法(提供视觉参考,但缺乏对语义一致性的控制)或文本引导方法(确保忠实于文本引导,但缺乏视觉质量)。为了解决这个问题,我们提出了零样本反演过程(ZIP),该框架将生成的视觉参考和文本引导的融合注入到 \textit{frozen} 预训练扩散模型的语义潜在空间中 ...

0 0 0 0 2024/12/28 arXiv:2308.15854v2 parsifalster

扩散模型作为一种新颖的生成范式,在图像修复、图像到文本翻译和视频生成等各种图像生成任务中取得了显着的成功。图生成是图上的一项重要计算任务,具有众多实际应用。它的目的是学习给定图的分布,然后生成新图 ...

0 0 0 0 2024/12/27 arXiv:2302.02591v3 parsifalster

这项调查回顾了文本到图像的扩散模型,因为扩散模型已经在广泛的生成任务中流行起来。作为一项独立的工作,本调查首先简要介绍基本扩散模型如何用于图像合成,然后介绍条件或指导如何改善学习。在此基础上,我们对文本条件图像合成的最先进方法进行了回顾,即 ...

0 0 0 0 2024/12/27 arXiv:2303.07909v3 parsifalster

来一起翻译吧!


为了您和其他读者获得更好的阅读体验,请您在阅读时勇敢地改正翻译,特别是一些显而易见的机器翻译错误。


虽然我们追求卓越,但我们并不要求翻译十全十美,因此请不要担心您翻译有误 —— 我们的服务器已经记录所有的翻译,您不必担心会因为您的失误导致无法挽回的破坏。(改编自维基百科)