我们提出了一种新颖的方法来利用封装在预先训练的文本到图像扩散模型中的先验知识来实现盲超分辨率（SR）。具体来说，通过使用我们的时间感知编码器，我们可以在不改变预先训练的合成模型的情况下实现有希望的恢复结果，从而保留生成先验并最小化训练成本。为了弥补扩散模型固有的随机性造成的保真度损失，我们采用了可控的特征包装模块，该模块允许用户通过在推理过程中简单地调整标量值来平衡质量和保真度 ...
扩散模型的快速发展引发了多样化的应用。身份保留文本到图像生成（ID-T2I）因其广泛的应用场景（例如人工智能肖像和广告）而受到广泛关注。虽然现有的 ID-T2I 方法已经取得了令人印象深刻的结果，但仍然存在一些关键挑战：（1）很难准确地保持参考肖像的身份特征，（2）生成的图像缺乏审美吸引力，特别是在执行身份保留时，以及（3） ）存在无法同时兼容基于LoRA和基于Adapter的方法的限制 ...
随着大型语言模型（LLM）的不断开发，它们的评估变得越来越重要但也具有挑战性。这项工作提出了 Chain-of-Thought Hub，这是一个针对大型语言模型的多步推理能力的开源评估套件。我们对这种设置感兴趣有两个原因：（1）从 GPT 和 PaLM 模型家族的行为来看，我们观察到复杂的推理可能是弱 LLM 和强 LLM 之间的关键区别； （2）我们设想大型语言模型成为下一代计算平台，并培育基于LLM的新应用生态系统，这自然需要基础模型能够执行通常涉及语言和逻辑运算组合的复杂任务 ...
设备端机器学习可以在本地客户端轻量级部署推荐模型，从而减少基于云的推荐器的负担，同时支持更多的实时用户功能。尽管如此，基于云的推荐器增强的模型能力和从数据十亿规模的项目池中高效生成候选者，在行业中仍然非常重要。整合之前两种范式优点的尝试主要采用顺序机制，该机制在基于云的推荐之上构建设备端推荐器... ...
最近，大型语言模型（LLM）在测试时提供了一些示例（“微小提示”）时，表现出了执行运算术和符号推理任务的令人印象深刻的能力。这种成功在很大程度上要归功于如每个“思维链”之类的提示方法，这些方法利用LLM通过将问题描述分解为步骤来理解问题描述，并解决问题的步骤。由于熟练了这种逐步分解，LLM经常在解决方案部分出现逻辑和算术错误，即使问题串联正确... ...
如果正确设计提示，对齐的大语言模型 (LLM) 的回答质量可以得到显着提高。在本文中，我们提出 ExpertPrompting 来激发 LLM 作为杰出专家回答问题的潜力。我们首先利用上下文学习自动合成每个特定指令的专家身份的详细和定制描述，然后要求 LLM 根据此类代理背景提供答案 ...
大型语言模型 (LLM) 在多智能体系统的自动化任务解决方面取得了显着进步。然而，现有的大多数基于LLM的多智能体方法依赖于预定义的智能体来处理简单的任务，限制了多智能体协作对不同场景的适应性。因此，我们引入了AutoAgents，这是一个创新框架，可以根据不同的任务自适应地生成和协调多个专门的代理来构建人工智能团队 ...
在协作任务中构建自适应行为的代理是多代理系统领域的护理目标。目前开发协作智能体的方法主要依赖于基于学习的方法，其策略泛化在很大程度上取决于他们在训练阶段然而，这种依赖于智能体与不熟悉的恐龙合作时的策略适应能力，这在零样本协调场景中成为一个重大挑战...... ...
我们提出了一个模型，可以生成图像及其区域的自然语言描述。我们的方法利用图像数据集及其句子描述来了解语言和视觉数据之间的模态间对应关系。基于图像区域的视觉模型上面的结构神经网络、句子上的结构循环神经网络以及通过多模态嵌入排列两个模态的重构目标的新颖组合... ...
即时调优已成为模型调优的新范式，并在自然语言预训练甚至视觉预训练中取得了成功。在这项工作中，我们探索了即时调整到多模态预训练的转移，重点是生成多模态预训练模型，而不是对比模型。具体来说，我们对统一的序列到序列预训练模型进行快速调整，以适应理解和生成任务 ...