将大语言模型与人类偏好保持一致对于安全部署至关重要。虽然直接偏好优化（DPO）为从人类反馈中学习提供了有效的替代方法，但传统的DPO方法受到对单个偏好对的依赖的限制。最近的工作（例如Curriculum-DPO）使用基于成对区分性（PD）的一维难度课程集成了多对，但忽略了输入提示本身的复杂性 ...

大型语言模型（LLM）的最新进展已通过其减少的表示错误并结合了外部知识来发展多语言语音和机器翻译。但是，这两个翻译任务通常都利用梁搜索解码和TOP-1假设选择进行推理。这些技术难以充分利用各种n最好的假设中的丰富信息，这使得它们对于需要单个高质量的输出序列的翻译任务降低了 ...

大型语言模型（LLM）广泛用于自然语言理解和文本生成。 LLM模型依赖于称为LLM解码的时间耗尽的步骤来生成输出 Token 。几项先前的工作着重于使用并行性技术（例如批处理和投机解码）提高LLM解码的性能 ...

低级适应性（LORA）是一种自然的方法，可以在通信受限的机器学习设置（例如联合学习的跨设备）中进行填充。在联邦学习的背景下研究洛拉的先前工作重点是改善洛拉对异质性和隐私性的稳健性。在这项工作中，我们考虑了进一步提高联邦洛拉（Lora）的沟通效率的技术 ...

如今，大型语言模型（LLM）是最重要的新兴机器学习应用程序之一。但是，由于其巨大的模型尺寸和内存足迹的运行时增加，LLM推论由于由多个GPU组成的传统系统缺乏记忆容量，具有适度的高带宽内存。此外，由于LLM包含许多带宽的内核内核，仅关注记忆容量而不考虑带宽会导致严重的性能降级 ...

视觉自动回归的模型通常粘附在栅格级``下一步的预测''范式，它忽略了视觉内容中固有的空间和时间位置。具体来说，视觉 Token 与它们在空间或时间上相邻的 Token 与远距离的图表相比，视觉 Token 与该论文相比，我们的新型图表（我们在邻近的范围内，我们都在邻近的模型中，都有一个新颖的模型。自回归视觉生成是一种渐进的支出过程，遵循近对``下一步的邻居预测''机制 ...

大型语言模型（LLMS）已转换了代码生成，但是它们在硬件设计中的应用产生的门数为38 \％-1075 \％\％比人类设计高。我们提出了CircuitMind，这是一个多代理框架，通过三个关键创新来实现人类竞争效率：语法锁定（将生成限制为基本逻辑大门），检索授权的生成（启用知识驱动的设计）和双重奖励优化（与效率平衡正确）。为了评估我们的方法，我们介绍了TC-Bench，这是Turncomplete生 ...

数据的体积和复杂性正在迅速增长。熟练数据库查询语言对于制作有效查询是关键的。随着编码助理变得越来越普遍，有很大的机会来增强数据库查询语言 ...