训练卷积神经网络模型是记忆密集型的,因为反向传播需要存储所有中间层的激活。在寻求在生产中部署非常深的体系结构时,这引起了实际问题,尤其是当需要在更新的数据集中经常重新训练模型时。在本文中,我们提出了一种新的实施,以通过实现具有可忽略不计的计算成本和对培训性能的最小效应的近似值,从而大大降低了记忆使用情况 ...
在线矢量化高清(HD)地图构建对于随后的自动驾驶预测和计划任务至关重要。在MAPTR范式之后,最近的作品取得了值得注意的成就。但是,参考点是在主流方法中随机初始初始初始初始初始初始初始初始初始初始初米的,从而导致预测和地面真理之间的不稳定匹配 ...
神经网络模型的规模不断增加对于提高其准确性至关重要,但是设备记忆并未以相同的速度增长。这为在有限的内存环境中训练神经网络带来了根本挑战。在这项工作中,我们提出了ACTNN,ACTNN是一种记忆效率的训练框架,该框架存储随机量化的激活以进行背部传播 ...
在本文中,我们介绍了Mask2map,这是一种新型的端到端在线HD MAP构造方法,旨在自动驾驶应用程序。我们的方法着重于预测场景中地图实例的类和有序点集,在鸟类视图(BEV)中表示。 Mask2MAP由两个主要组件组成:实例级掩码预测网络(IMPNET)和蒙版驱动的MAP预测网络(MMPNET) ...
高清图的重建是感知自主驾驶环境的关键任务,因为其准确性直接影响下游模块中预测和计划能力的可靠性。由于解码器结构的冗余而导致的基于DETR框架的当前矢量化MAP重建方法遇到了限制,因此需要堆叠六个解码器层以保持性能,从而显着缩减了计算效率。为了解决此问题,我们介绍了FastMap,这是一个创新的框架,旨在减少现有方法中的解码器冗余 ...
辍学是深度神经网络正规化的有效策略。将禁忌应用于最近在最近的时期删除的单位并保留它们进行训练,以确保辍学的多样化。在本文中,我们改善了用两种方式训练深层神经网络的禁忌液辍学机制 ...
对文本的准确情感分析对于各种应用程序,例如了解客户反馈,监视市场趋势和检测公共情绪至关重要。但是,手动注释大型情感语料库进行监督学习是劳动密集型且耗时的。因此,为情感分析任务开发半监督方法是必不可少的和有效的 ...
及时调整代表了一种有价值的技术,用于将预训练的视觉语言模型(VLM)调整为各种下游任务。基于COOP的方法的最新进展提出了一组可学习的域共享或图像条件文本 Token ,以促进特定于任务的文本分类器的生成。但是,这些文本 Token 在看不见的域具有有限的概括能力,因为它们无法动态地适应测试类的分布 ...