可以直接综合看不见的场景的新型视图的跨性别概括的NERF模型已成为NERF领域的新聚光灯。现有的几项尝试依赖于越来越多的端到端“神经化”架构,即 ...
大型语言模型在各种自然语言处理任务中取得了巨大的成功,但推断期间的高计算成本仍然是主要的瓶颈。本文介绍了稀疏的专家激活修剪(SEAP),这是一种无训练的修剪方法,有选择地保留与任务相关的参数以减少推理开销。 SEAP受到隐藏状态和激活的聚类模式的启发,SEAP确定了特定于任务的专家激活模式并修剪模型,同时保留任务性能并提高计算效率 ...
本文介绍了一种新颖的方法,用于通过将嵌入式3D高斯语言与大语言模型(LLMS)相结合(LLMS),以自动驾驶中的开放式3D场景查询。我们建议利用LLM生成上下文规范的短语,并帮助积极的单词来增强细分和场景解释。我们的方法利用GPT-3 ...
对大规模文本语料库进行的下一步预测的语言模型,在生成和歧视性语言任务上都提供了惊人的零击,很少的射击,转移学习和多任务功能。在这一成功的促进下,我们探索了一种矢量定量的图像建模(VIM)方法,该方法涉及预处理 Transformer 以预测栅格图形 Token 自动加压。离散的图像 Token 是根据基于学习的视觉转换器VQGAN(VIT-VQGAN)编码的 ...
我们介绍流k,一种以工作为中心的矩阵乘法并行化(gemm)以及稠密线性代数中的相关计算。虽然当代的分解主要是基于图块的,但我们的方法通过在物理处理元素之间划分均匀份额的聚合内循环迭代来进行操作。这提供了对计算资源的近乎完美的利用,无论任何给定问题的输出平铺在底层处理元素上量化的效率如何... ...
命名实体识别(NER)是自然语言处理(NLP)中的基本问题。但是,提取更长的实体跨度的任务(例如 ...
顺序推荐(SR)任务旨在通过学习其行为顺序并捕获用户过去交互与不断变化的偏好之间的联系来预测用户的下一个交互。常规的SR模型通常仅着重于捕获培训数据中的顺序模式,忽略了外部来源项目标题中嵌入的更广泛的上下文和语义信息。这限制了他们的预测能力和适应性 ...
通过众多图像数据进行预训练已成为鲁棒2D表示的事实上。相比之下,由于昂贵的数据获取和注释,大规模3D数据集的匮乏严重阻碍了对高质量3D功能的学习。在本文中,我们提出了一种替代方案,可以通过图像对点蒙版的自动编码器从2D预训练的模型获得出色的3D表示,称为I2P-MAE ...