生成语言模型的最新进展证明了它们记忆文档知识和回忆知识以有效响应用户查询的能力。在此功能的基础上，我们建议使多模态大语言模型（MLLM）能够在其参数内记忆和调用图像。给定用户对视觉内容的查询，MLLM 预计会从其参数中“调用”相关图像作为响应 ...
知识追踪（KT）是根据学生与智能辅导系统的历史交互来预测学生未来表现的问题。最近的研究应用了多种类型的深度神经网络来解决 KT 问题。然而，现实世界的教育数据中有两个重要因素没有得到很好的体现 ...
我们研究知识追踪（KT）问题，其目标是随着时间的推移追踪学生的知识掌握情况，以便预测他们未来的表现。由于深度神经网络（DNN）良好的表示能力，KT 的最新进展越来越集中于探索 DNN 来提高 KT 的性能。然而，我们的经验表明，基于 DNN 的 KT 模型可能存在过度拟合的风险，尤其是在小数据集上，从而导致泛化能力有限 ...
推荐系统在解决各种在线应用程序中的信息爆炸问题和增强用户体验方面显示出巨大的潜力，最近呈现出两个新兴趋势：（i）协作：在云上训练（单独学习）到设备云的单边模型协作推荐（协作学习）。 (ii) 实时动态：所有实例（静态模型）的网络参数都相同，以实时实例（动态模型）为条件生成自适应网络参数。上述两种趋势使得端云协作和动态推荐成为可能，它深入挖掘了云端数据之间的推荐模式，并基于频繁的端云通信成本有效地表征具有不同底层分布的不同实例 ...
知识追踪（KT）是根据学生与智能辅导系统的历史交互来预测学生未来表现的问题。最近，许多工作从模型架构、对抗性增强等不同角度提出了许多将深度神经网络应用于 KT 的特殊方法，这使得整体算法和系统变得越来越复杂 ...
知识追踪（KT）旨在通过学生与概念相关问题的学习互动来监控学生不断变化的知识状态，并可以通过预测学生在未来问题上的表现来间接评估。在本文中，我们观察到存在一种常见的答案偏差现象，即 ...
设备模型泛化（DMG）是设备上机器学习应用程序的一个实用但尚未得到充分研究的研究主题。它旨在提高预训练模型在资源受限设备上部署时的泛化能力，例如提高预训练云模型在智能手机上的性能。虽然相当多的工作研究了跨云和设备的数据分布变化，但大多数都侧重于对单个设备的个性化数据进行模型微调，以促进 DMG ...
大型模型代表了多个应用领域的突破性进步，在各种任务中取得了显着的成就。然而，其前所未有的规模伴随着巨大的计算成本。这些模型通常由数十亿个参数组成，需要大量的计算资源来执行 ...
协同过滤（CF）模型尽管取得了巨大成功，但由于受欢迎程度分布的变化而导致性能严重下降，而这些变化在现实场景中是普遍存在且不可避免的。不幸的是，大多数领先的流行度去偏差策略并没有解决 CF 模型对不同流行度分布的脆弱性，而是需要先验知识测试分布来识别偏差程度，并进一步学习流行度纠缠表示以减轻偏差。因此，这些模型在目标测试集中带来了显着的性能优势，但在事先不知道流行度分布的情况下，推荐结果却大大偏离了用户的真实兴趣 ...
时间序列预测 (TSF) 中的分布变化表明序列分布随时间发生变化，这在很大程度上阻碍了 TSF 模型的性能。现有的时间序列分布变化的研究大多局限于分布的量化，更重要的是，忽略了回溯窗口和水平窗口之间的潜在变化。为了应对上述挑战，我们系统地将TSF的分布变化总结为两类 ...