我们介绍了一种新颖的递归融合模型,称为Refu,旨在整合无示例3D类学习的点云和网格,该模型在其中学习了新的3D类,同时保留了先前学过的知识的知识。与现有的方法依靠存储历史数据来减轻遗忘或专注于单个数据模式不同,Repu消除了对示例存储的需求,同时利用了点云和网格的互补优势。为了实现这一目标,我们引入了一种递归方法,该方法通过更新正则化自动相关矩阵来连续积累知识 ...
低资源语言翻译是一项具有挑战性但对社会有价值的NLP任务。在最新工作的基础上,我们提出了QKNORM,它提出了QKNORM,这是一种正常化的技术,可修改注意力机制,使软马克斯的功能不太容易出现在不牺牲表达的情况下的任意饱和度。具体来说,我们在每个查询和键矩阵乘以乘以$ \ ell_2 $归一化,然后再乘以它们,然后按可学习的参数扩展,而不是除以嵌入尺寸的平方根 ...
大型语言模型(LLM)最近被认为是许多领域的有前途的技术。这项工作通过文本学习探讨了基于LLM的无线网络优化。为了展示LLM技术的潜力,我们将基站(BS)功率控制视为案例研究,这是一种基本但至关重要的技术,在无线网络中得到了广泛研究 ...
时间序列数据在各种应用程序中至关重要,包括气候建模,医疗保健监测和财务分析。了解与实际时间序列数据相关的上下文信息通常对于准确可靠的事件预测至关重要。在本文中,我们介绍了时间序列处理框架,该框架创造性地采用了大型语言模型(LLM)作为时间序列数据的上下文化器,从而扩展了其典型的用法作为预测因素 ...
视觉 Transformer (VIT)已成为视觉任务最常用的骨干之一。尽管其性能出色,但在实用部署进行量化时,它们通常会遭受明显的准确性下降,尤其是在超低位下训练后量化(PTQ)。最近,基于重建的PTQ方法在量化卷积神经网络(CNN)方面表现出了有希望的性能 ...
Vision Transformer(VIT)体系结构越来越流行,并广泛用于应对计算机视觉应用。他们的主要特征是通过自我发项机制提取全球信息的能力,表现优于早期的卷积神经网络。但是,VIT部署和性能随着它们的规模,可训练的参数数量和操作而稳步增长 ...
传统的时间序列异常检测(TAD)方法通常在复杂的时间序列数据和各种异常阵列的综合性质上困难。我们介绍了TADNET,这是一种端到端TAD模型,利用季节性趋势分解将各种类型的异常与特定分解组件联系起来,从而简化了对复杂时间序列的分析和增强检测性能的分析。我们的培训方法包括在合成数据集上进行预训练,然后进行微调,在有效分解和精确的异常检测之间取得平衡 ...
基于扩散和流动模型的最新发展具有显着高级的文本到原告生成(TTA)。尽管达到了良好的综合质量和可控性,但当前的TTA系统仍然遭受缓慢的推理速度,这大大限制了其实际适用性。本文介绍了Meanaudio,这是一种针对快速和忠实的文本量身定制的基于卑鄙的基础模型 ...