我们考虑以空间和时间连接的方式有效地表示随意捕获的单眼视频的问题。尽管现有方法主要依赖于2D/2.5D技术将视频视为时空像素的集合,但由于缺乏时间相干性和显式3D结构,它们会在复杂的动作,遮挡和几何一致性中挣扎 ...
在训练前阶段,大型语言模型通常接受大量数据培训,这可能包括一些潜在的有害信息。微调攻击可以通过提示模型揭示此类行为来利用这一点,从而导致产生有害内容。在本文中,我们专注于研究基于思想的推理模型链的性能,当受到微调攻击时 ...
在金融和天气预测等领域,长期预测至关重要。除了在时域运行的传统方法外,许多最近的模型还将时间序列数据转换为频域以更好地捕获复杂模式。但是,这些方法经常使用过滤技术去除某些频率信号作为噪声,这可能无意中丢弃重要信息并降低预测准确性 ...
Optimizing Mixture-of-Experts Inference Time Combining Model Deployment and Communication Scheduling
随着机器学习模型的规模和复杂性的规模,它们的计算要求成为一个重大的障碍。专家(MOE)模型通过选择性激活相关专家来减轻此问题。尽管如此,全能操作的高通信开销,由于同步通信约束而引起的较低的GPU利用以及异质GPU环境的并发症,MOE模型受到阻碍 ...
由于对协作和联合学习的兴趣的增长,拜占庭式的企业一直在引起广泛关注。但是,许多富有成果的方向,例如减少差异以实现稳健性和降低沟通成本的沟通压缩,在该领域仍然很少探索。这项工作解决了这一差距,并提出了BYZ-VR-MARINA-一种具有差异降低和压缩的新型拜占庭耐受方法 ...
Real2SIM2Real在机器人的手臂控制和增强学习中起着至关重要的作用,但是由于机器人的复杂物理特性及其操纵的物体,弥合此差距仍然是一个重大挑战。现有方法缺乏全面的解决方案,可以准确地重建具有空间表示及其相关物理属性的现实对象。我们提出了一个带有混合表示模型的Real2SIM管道,该管道集成了网格几何形状,3D高斯内核和物理属性,以增强机器人臂的数字资产表示 ...
连续推荐系统利用 Transformer 体系结构证明了捕获用户行为模式的非凡功能。这些系统的核心是构建有效项目表示形式的关键挑战。传统方法通过简单的串联或基本神经体系结构采用特征融合来创建统一表示序列 ...
我们研究将知识注入大型预训练模型等大型模型的问题。现有方法通常在注入知识时更新预训练模型的原始参数。但是,当注入多种知识时,历史上注入的知识将被冲走 ...