专家(MOE)的混合物及其独特的稀疏结构,可以使语言模型的比例扩展到数万亿个参数,而不会显着增加计算成本。但是,实质参数大小对推理提出了挑战,因为GPU内存中的扩展无法跟上参数的增长。尽管卸载技术利用CPU和磁盘的内存并平行于I/O和计算以提高效率,但MOE模型中每个专家的计算通常小于I/O,从而导致管道中的许多气泡 ...
作为一项开创性的探索 Transformer 体系结构的开创性工作,Point Transformer在多个竞争激烈的基准上取得了令人印象深刻的结果。在这项工作中,我们分析了点 Transformer 的局限性,并使用新型设计提出了强大而有效的点 Transformer V2模型,从而克服了先前工作的局限性。特别是,我们首先提出了组向量的关注,这比以前版本的向量注意更有效 ...
(nlg)系统生成的文本的质量很难自动测量。传统的基于参考的指标(例如 bleu和胭脂)已被证明与人类判断的相关性相对较低,特别是对于需要创造力和多样,特别是对于需要创造力和多样llm)作为nlg评估的无参考指标,其优点是适用于缺乏人类参考的新任务... ...
由于其全向视场(FOV),360深度估计最近引起了3D重建的关注。最近的方法主要集中在与基于几何的重新投影的交叉反射融合上:它们将360张图像与等应角投影(ERP)和另一种投影类型(例如 ...
由于缺乏配对的真实数据和强大的先验,现有的降落方法难以处理现实世界中的朦胧图像。在这项工作中,我们提出了一种新的范式,以从合成更现实的朦胧数据并将更多强大的先验引入网络的角度来进行真实图像进行除去。具体而言,(1)我们不采用事实上的物理散射模型,而是重新考虑了真实朦胧的图像的降解,并提出了一种考虑多种降解类型的现象学管道 ...
图像飞机是基本的,但在计算机视觉中却没有很好地解决。大多数尖端模型都接受了合成数据的训练,从而导致现实世界中的朦胧场景的性能不佳。此外,他们通常会提供确定性的降落图像,同时忽略挖掘自己的不确定性 ...
场景图最近被引入3D空间理解中,以此作为场景的全面表示。 3D场景图之间的对齐方式是许多下游任务的第一步,例如场景图辅助点云注册,摩西式,重叠检查和机器人导航。在这项工作中,我们将3D场景图对齐视为部分图形匹配问题,并建议用图神经网络解决它 ...
空中协作机器人在消防和救援领域表现出巨大的潜力,该机器人可以迅速响应救援需求并提高任务执行的效率。映射和导航是空中协作机器人实现高效任务执行的关键基础,引起了很多关注。对协作机器人映射和导航的这种日益兴趣有利于改善消防和救援任务执行的智能,但是对这一领域没有全面的调查以突出其优势 ...