视觉 Transformer 由于能够捕获图像中的长期依赖性的能力而成功地应用于图像识别任务。但是， Transformer 与现有卷积神经网络（CNN）之间的性能和计算成本仍然存在差距。在本文中，我们旨在解决此问题，并开发一个网络，该网络不仅可以超越规范 Transformer ，还可以胜过高性能卷积模型 ...

代码改进旨在通过解决问题，重构和优化以提高质量并满足特定要求来增强现有代码。随着软件项目规模和复杂性的扩展，审阅者和开发人员之间的传统迭代交流变得越来越繁重。尽管最近探索了最近的深度学习技术来加速这一过程，但它们的性能仍然有限，这主要是由于准确理解审稿人的意图的挑战 ...

从人类反馈（RLHF）中学习的强化在与人类偏好的大型语言模型保持一致方面非常成功。尽管像DPO这样的普遍方法表现出了强劲的性能，但它们将与语言模型作为强盗问题进行了框架，这限制了其在多转交流很常见的现实情况下的适用性。此外，DPO还依靠Bradley-Terry模型假设，该假设并不能充分捕获人类偏好的非传递性质 ...

随着大语言模型（LLM）的快速发展，出现了重大安全问题。从根本上讲，大语言模型的安全性与他们对安全知识的理解的准确性，全面性和清晰度密切相关，尤其是在法律，政策和道德等领域。这种事实能力对于确定这些模型是否可以在特定区域安全和合适地进行部署和应用至关重要 ...

最近的工作表明，深层神经网络容易受到对抗性示例的影响 -   - 输入几乎与自然数据没有区别，但网络不正确地对其进行了分类。实际上，一些最新发现表明，对抗性攻击的存在可能是深度学习模型的固有弱点。为了解决这个问题，我们通过鲁棒优化的镜头研究神经网络的对抗性鲁棒性 ...

增加测试时间计算是提高大语模型（LLMS）响应质量的一种直接方法。虽然最佳的N采样和多数投票的自我矛盾是简单有效的，但无论其复杂性如何，它们都需要固定数量的采样响应。这可能会导致浪费计算，以解决更简单的问题，并且探索不足以具备更具挑战性的探索 ...

培训后量化（PTQ）是通过大大减少资源需求在资源有限设置中部署大型语言模型（LLM）的关键。但是，由于量化和原始权重之间的显着差异，现有的PTQ策略在低位<3位的低水平下表现不佳。为了增强低宽度宽度的量化性能，我们采用图形神经网络（GNN）模块来捕获权重之间的依赖性并自适应分配量化位宽度 ...

模仿学习，例如扩散政策，已被证明在各种机器人操纵任务中有效 ...