材料科学和工程等领域应用领域应用的大型语言模型（LLM）的进步取决于制定适应专业技术能力的微调策略。在这项工作中，我们探讨了持续预处理（CPT），监督微调（SFT）以及各种基于偏好的优化方法，包括直接偏好优化（DPO）和优势比偏好优化（ORPO）对微型LLM绩效的影响。我们的分析表明，这些策略如何影响模型的结果，并揭示了多个微调模型的合并可以导致超过父模型的个人贡献的能力的出现 ...

图数据完成是一个根本重要的问题，因为数据通常具有图形结构，例如社交网络，推荐系统和物联网 ...

考虑到硬件友好的特性和广泛的适用性，结构化修剪已成为一种有效的解决方案，以减少资源约束设备上大型语言模型（LLMS）的资源需求。传统的结构化修剪方法通常需要微调来恢复性能损失，这会导致高内存开销和实质性数据要求，从而使它们不适合在设备应用程序中。此外，训练后结构化修剪技术通常需要特定的激活功能或架构修饰，从而限制其应用程序范围 ...

忘记是指先前获得的知识的损失或恶化。尽管现有有关忘记的调查主要集中在持续学习上，但忘记是在深度学习中其他各种研究领域中观察到的普遍现象。忘记在研究领域（例如生成器移动引起的生成模型）以及由于跨客户的异质数据分布而导致的联合学习 ...

本文提出了Fabg（面部情感行为产生），这是一种用于人类机器人相互作用的端到端模仿学习系统，旨在产生自然和流体的面部情感行为。在互动中，有效地获得高质量的示范仍然是一个挑战。在这项工作中，我们开发了一个沉浸式虚拟现实（VR）演示系统，该系统允许操作员感知立体环境 ...

工业推荐系统通常从多种业务方案中保存数据，并有望同时为这些方案提供建议服务。在检索步骤中，从大量语料库中选择的TOPK高质量项目通常需要在多种情况下都是各种各样的。以阿里巴巴展示广告系统为例，不仅是因为淘宝用户的行为模式是多样的，而且广告客户分配的方案的出价价格也有很大差异 ...

面部表情在人类交流中至关重要，并且显着影响人类互动（HRI）的结果，例如可爱，信任和伴侣。但是，当前生成机器人面部表情的方法通常是劳动密集型的，在环境和平台之间缺乏适应性，并且具有有限的表现力范围 - 领导着降低相互作用质量的重复行为，尤其是在长期的情况下。我们介绍了Xpress，该系统利用语言模型（LMS）通过三相过程动态生成机器人的上下文感知面部表达式：编码时间流，上下文上的条件表达式以及生成 ...

大型语言模型（LLM）在数学推理方面表现出了令人印象深刻的进步。尽管数据增强有望增强数学问题解决能力，但当前的方法主要限于实例级的修改，例如重新绘制或生成语法变量，而这些变化无法捕获和利用数学知识固有的内在关系结构。受到人类学习过程的启发，在该过程中，数学能力通过系统地接触相互联系的概念而发展，我们引入了MathFusion，这是一个新颖的框架，通过跨问题指导综合增强了数学推理 ...