图表学习(GRL)已成为建模图形结构数据的有效技术。在对现实世界复杂网络中的异质性和动力学进行建模时,已经提出了专为复杂异质时间图(HTG)设计的GRL方法,并已在各个领域成功实现了成功的应用。但是,大多数现有的GRL方法主要集中于保留低阶拓扑信息,同时忽略高阶组交互关系,这与现实世界网络更一致 ...
高带宽内存(HBM)为AI工作负载提供了出色的带宽和能源效率,但是其每位高成本的高成本部分是由严格的ON-DIE可靠性要求驱动的,这在可扩展部署方面构成了越来越大的障碍。这项工作探讨了一种系统级别的方法来降低成本,并将所有故障管理转移到内存控制器。我们介绍了一个特定领域的ECC框架,结合了大号芦苇 - 固体〜(RS)校正与轻质细粒度CRC检测,差异奇偶校验更新以减轻写入放大,并基于数据重要性进行可 ...
我们介绍了Mujoco Playground,这是一个完整的开放源代码框架,用于使用MJX构建的机器人学习,其明确的目标是将模拟,训练和模拟传输转移到机器人中。借助简单的“ PIP安装游乐场”,研究人员可以在单个GPU上几分钟内训练政策。游乐场支持各种机器人平台,包括四足动物,类人动物,灵巧的手和机器人手臂,从而从状态和像素输入中启用了零射击的SIM转移 ...
最近,由于其处理现实世界中的分配变化问题,测试时间适应(TTA)引起了越来越多的关注。与用于图像数据的卷积神经网络(CNN)开发的内容不同,对于图形神经网络(GNN),TTA的探索较少。仍然缺乏针对具有不规则结构的图的有效算法 ...
大语言模型(LLM)的成功促使研究人员探索多模态大语言模型(MLLM)以实现统一的视觉和语言理解。然而,MLLM 不断增加的模型大小和计算复杂性限制了它们在资源有限的环境中的使用。小规模MLLM(s-MLLM)旨在保留大规模模型(l-MLLM)的能力,同时减少计算需求,但导致性能显着下降 ...
在这项工作中,我们提出了一个LLM模块的体系结构,该架构可以使用增强的跨注意机制将知识从大型预训练模型转移到较小的模型。在拟议的方案中,QWEN2-1.5B模型被冷冻,其表示形式通过特殊设计的注意层传递给GPT-NEO-125M模型,该模型对有限的计算资源进行了培训 ...
大型语言模型(LLMS)提供了一个透明的大脑,其中包含可访问的参数编码广泛的知识,可以分析,定位和转移。因此,一个关键的研究挑战是超越植根于象征性语言并实现真正的参数知识转移(PKT)的传统知识转移范式。值得注意的是,探索通过参数转移不同尺度的LLM的知识的有效方法提出了一个有趣而有价值的研究方向 ...
运动扩散模型的最新进展已实现了可以在空间控制的文本到动作生成的能力。但是,尽管达到了可接受的控制精度,但这些模型仍遭受了生成速度和忠诚度的限制。为了应对这些挑战,我们提出了ControlMM,这是一种新型方法,将空间控制信号纳入生成性掩盖运动模型中 ...