大型语言模型(LLMS)由于其高级推理能力,在多跳问题(M-QA)方面表现出色。但是,固有的推理结构对LLM M-QA性能的影响尚不清楚,这在很大程度上是由于缺乏提供精细颗粒推理结构的质量保留数据集。为了解决此差距,我们介绍了图形结构化问题答案数据集(GRS-QA),该问题包括语义上下文和QA对的推理结构 ...
我们提出了一种基于频率的新型自我监督学习(SSL)方法,可显着提高其对预训练的功效。朝这个方向的先前工作掩盖了输入图像中的预定频率,并采用重建损失来预先训练模型。在实现有希望的结果的同时,这种实施具有两个基本限制,如我们的论文所述 ...
我们为奖励模型介绍了一种新的基准测试,该基准通过RLHF(从人类反馈中学习)来量化其产生强大语言模型的能力。金标准的方法是运行完整的RLHF训练管道,直接探测下游LLM的性能。但是,这个过程非常昂贵 ...
内存是基于大型语言模型(LLMS)代理的基础AI系统的基本组成部分。虽然先前的调查专注于LLMS的内存应用,但它们经常忽略内存动态的原子操作。在此调查中,我们首先将内存表示形式分为参数,上下文结构化和上下文非结构化,然后引入六个基本内存操作:合并,更新,索引,遗忘,检索和压缩 ...
我们重新审视单发神经架构搜索(NAS)范式,并分析其在现有NAS方法中的优势。但是,现有的单发方法很难训练,并且在像ImageNet这样的大型数据集上尚未有效。这项工作提出了一个单一路径模型,以应对培训中的挑战 ...
近年来,在多模式理解模型和图像产生模型中都取得了显着的进步。尽管取得了各自的成功,但这两个领域还是独立发展的,导致了独特的建筑范式:尽管基于自动进程的架构占多模式的理解,但基于扩散的模型已成为图像生成的基石。最近,人们对开发整合这些任务的统一框架的兴趣越来越大 ...
大型语言模型(LLMS)的可信度是指其产出可靠,安全和道德上一致的程度,并且与他们的认知表现同时已成为至关重要的考虑因素。实际上,从人类反馈中学习(RLHF)已被广泛用于与标记的人类偏好相结合,但其假定对模型可信度的影响尚未经过严格评估。为了弥合这一知识差距,这项研究研究了如何与通用偏好数据保持一致的模型在五个值得信赖的垂直方面执行:毒性,刻板印象偏见,机器伦理,真实性和隐私性 ...
尽管3D高斯的碎片(3DG)彻底改变了3D重建,但它仍然面临诸如混叠,投影伪像和观察不一致之类的挑战,这主要是由于简化了将碎屑视为2D实体的挑战。我们认为,整个3DGS管道中对高斯人进行完整的3D评估可以有效地解决这些问题,同时确保栅格化效率。具体而言,我们引入了一个自适应3D平滑滤波器来减轻混叠,并提出稳定的视图空间边界方法,当高斯延伸到视图flustum范围内时,它消除了弹出的伪像 ...