专家混合 (MoE) 模型体现了分而治之的概念，是一种很有前途的提高模型容量的方法，展示了跨多个领域的出色可扩展性。在本文中，我们将MoE结构集成到经典的视觉变换器（ViT）中，将其命名为ViMoE，并通过对图像分类的综合研究来探索将MoE应用于视觉的潜力。然而，我们观察到性能对 MoE 层的配置很敏感，因此如果不仔细设计就很难获得最佳结果 ...

自动化单元测试生成器，特别是基于搜索的软件测试工具（例如 EvoSuite）能够生成高覆盖率的测试。尽管这些生成器减轻了编写单元测试的负担，但它们常常给软件工程师在理解生成的测试方面带来挑战。为了解决这个问题，我们引入了 UTGen，它结合了基于搜索的软件测试和大型语言模型，以增强自动生成的测试用例的可理解性 ...

路面重建在自动驾驶中起着至关重要的作用，可用于道路车道感知和自动标记任务。最近，基于网格的路面重建算法显示出有希望的重建结果。然而，这些基于网格的方法速度慢且渲染质量差 ...

高清（HD）地图是自动驾驶系统的基本组成部分，因为它可以提供有关驾驶场景的精确环境信息。最近关于矢量化地图生成的工作只能在运行时通过车载传感器进行一次巡游来生成自我车辆周围 65% 的本地地图元素，这留下了如何构建在高质量标准下投影在世界坐标系中的全球高清地图的难题。为了解决这个问题，我们将 GNMap 作为一种端到端的生成神经网络来自动构建具有多个矢量化图块的高清地图，这些图块是由自动驾驶车辆通 ...

我们发现许多自然语言提示可以被人类无法理解的相应提示所取代，但可以证明在语言模型中会引发类似的行为。我们将这些提示称为“邪恶双胞胎”，因为它们是模糊且无法解释的（邪恶），但同时模仿原始自然语言提示（双胞胎）的功能。值得注意的是，邪恶双胞胎在模型之间转移 ...

抗体设计是一项对治疗学和生物学等各个学科具有重大影响的关键任务，由于其复杂的性质而面临着相当大的挑战。在本文中，我们将抗原特异性抗体序列结构协同设计作为针对特定偏好的优化问题，同时考虑合理性和功能性。利用预先训练的条件扩散模型，通过等变神经网络联合模拟抗体的序列和结构，我们提出直接基于能量的偏好优化，以指导生成具有合理结构和对给定抗原具有相当大的结合亲和力的抗体 ...

在大数据和大模型时代，多模态数据的自动标注功能对于现实世界中人工智能驱动的应用（例如自动驾驶和实体人工智能）具有重要意义。与传统的封闭集标注不同，开放词汇标注对于实现人类水平的认知能力至关重要。然而，针对多模态 3D 数据的开放词汇自动标记系统很少 ...

通过监督微调（SFT）利用人工注释数据的力量对于推进大型语言模型（LLM）至关重要。在本文中，我们深入探讨了在无需获取额外人工注释数据的情况下，从较弱的法学硕士中培养出较强的法学硕士的前景。我们提出了一种新的微调方法，称为自玩微调（SPIN），它从监督微调模型开始 ...