由于语言模型（ lm）现在在许多具有挑战性的任务上优于普通人类，因此开发具有挑战性的、高质量的和现实的评估变得越来越困难。我们通过检查 lm 生成解决实际科学研究问题的代码的能力来解决这个问题。结合了数学、物理、化学、生物学和材料科学等16个不同自然科学子领域的科学家和人工智能研究人员的意见 ...

在本报告中，我提出了一个名为\ textIt {ControlFill}的介绍框架，该框架涉及训练两个不同的提示：一个用于在指定的蒙版内生成可行的对象（\ textit {creation}），另一个用于通过扩展背景（\ textit {removal}）来填充该区域。在推理阶段，这些学到的嵌入式指南指导一个不需要重型文本编码器的扩散网络。通过调整两个提示的相对意义并采用无分类器指导，用户可以控制 ...

我们提出了Visualbert，这是一个简单而灵活的框架，用于建模广泛的视觉和语言任务。 Visualbert由一堆 Transformer 层组成，该层隐含地将输入文本和相关输入图像中的区域的元素与自我注意解在一起。我们进一步提出了两个视觉上的语言模型目标，用于图像标题数据上的预训练Visualbert ...

基于人类反馈的强化学习 (RLHF) 已成为使大型语言模型 (LLM) 与人类偏好保持一致的关键技术。在 RLHF 实践中，偏好数据在连接人类倾向和 LLM 方面发挥着至关重要的作用。然而，人类对 LLM 输出的偏好的多样化、自然主义数据集的稀缺给 RLHF 以及开源社区内的反馈学习研究带来了巨大的挑战 ...

在通用文本嵌入任务（包括基于密集交换的搜索）中，基于解码器的大语言模型（LLM）嵌入模型开始基于BERT或基于T5的嵌入模型。在这项工作中，我们引入了各种NV-Embed模型的架构设计和训练程序，以显着增强LLM作为通用我们嵌入模型的性能，同时保持其简单性和可重复性。对于模型架构，提出了一个潜在的注意层来获得池化嵌入，与均值池化或使用 LLM 的最后一个 <EOS>  Token 嵌入相比，它持续 ...

我们研究了当地的Hölder规律性的强解决方案的$ U $二阶椭圆方程，具有梯度术语，具有超二级增长$ \ gamma> 2 $，并且在Lebesgue Space $ l^Q $中右侧。当$ q> n \ frac {\ gamma-1} {\ gamma} $（$ n $是Euclidean Space的维度）时，我们获得了最佳的Hölder连续性指数$ \ alpha_q> \ alpha_ ...

尽管文本到图像生成模型取得了显着的进展，但它们容易遭受对抗攻击，并无意间产生不安全，不道德的内容。现有的方法通常依靠微调模型来删除特定的概念，这些概念在计算上昂贵，缺乏可扩展性和/或折衷的生成质量。在这项工作中，我们提出了一个新的框架，利用K-Sparse自动编码器（K-SAES）在扩散模型中实现有效且可解释的概念操纵 ...

文本对图像（T2I）扩散模型已在各个领域获得广泛的应用，表现出了巨大的创造潜力。但是，这些模型的强大概括能力可能会无意间导致他们生成NSFW内容，即使努力从培训数据集中过滤NSFW内容，从而给他们的安全部署带来了风险。尽管已经提出了一些概念擦除方法来减轻此问题，但对其有效性的全面评估仍然不存在 ...