我们提出了一个模型，可以生成图像及其区域的自然语言描述。我们的方法利用图像数据集及其句子描述来了解语言和视觉数据之间的模态间对应关系。基于图像区域的视觉模型上面的结构神经网络、句子上的结构循环神经网络以及通过多模态嵌入排列两个模态的重构目标的新颖组合... ...
即时调优已成为模型调优的新范式，并在自然语言预训练甚至视觉预训练中取得了成功。在这项工作中，我们探索了即时调整到多模态预训练的转移，重点是生成多模态预训练模型，而不是对比模型。具体来说，我们对统一的序列到序列预训练模型进行快速调整，以适应理解和生成任务 ...
生成语言模型的最新进展证明了它们记忆文档知识和回忆知识以有效响应用户查询的能力。在此功能的基础上，我们建议使多模态大语言模型（MLLM）能够在其参数内记忆和调用图像。给定用户对视觉内容的查询，MLLM 预计会从其参数中“调用”相关图像作为响应 ...
知识追踪（ kt）是根据学生与智能辅导系统的历史交互来预测学生未来表现的问题。最近的研究应用了多种类型的深度神经网络来解决kt问题。然而，现实世界的教育数据中有两个重要因素没有得到很好的体现... ...
（kt）问题，其目标是随着时间的推移追踪学生的知识掌握情况，以便预测他们未来的表现。由于深度神经网络（ dnn）良好的表示能力，kt的最新进展越来越集中于探索dnn来提高kt的性能。然而，我们的经验表明，我们的经验表明 ...
推荐系统在解决各种在线应用程序中的信息爆炸问题和增强用户体验方面显示出巨大的潜力，最近呈现出两个新兴趋势：（i）协作：在云上训练（单独学习）到设备云的单边模型协作推荐（协作学习）。 (ii) 实时动态：所有实例（静态模型）的网络参数都相同，以实时实例（动态模型）为条件生成自适应网络参数。上述两种趋势使得端云协作和动态推荐成为可能，它深入挖掘了云端数据之间的推荐模式，并基于频繁的端云通信成本有效地表征具有不同底层分布的不同实例 ...
知识追踪（KT）是根据学生与智能辅导系统的历史交互来预测学生未来表现的问题。最近，许多工作从模型架构、对抗性增强等不同角度提出了许多将深度神经网络应用于 KT 的特殊方法，这使得整体算法和系统变得越来越复杂 ...
知识追踪（KT）旨在通过学生与概念相关问题的学习互动来监控学生不断变化的知识状态，并可以通过预测学生在未来问题上的表现来间接评估。在本文中，我们观察到存在一种常见的答案偏差现象，即 ...
设备模型泛化（DMG）是设备上机器学习应用程序的一个实用但尚未得到充分研究的研究主题。它旨在提高预训练模型在资源受限设备上部署时的泛化能力，例如提高预训练云模型在智能手机上的性能。虽然相当多的工作研究了跨云和设备的数据分布变化，但大多数都侧重于对单个设备的个性化数据进行模型微调，以促进 DMG ...
大型模型代表了多个应用领域的突破性进步，在各种任务中取得了显着的成就。然而，其前所未有的规模伴随着巨大的计算成本。这些模型通常由数十亿个参数组成，需要大量的计算资源来执行 ...