模型合并引起了人们的重大关注,作为模型重复使用的强大范式,促进了特定于任务模型的整合到具有多种功能的奇异,多功能框架中。先前的研究主要利用了体重平均(WA)等方法,表明模型合并可以有效利用预验证的模型而无需经济锻炼。但是,模型之间的固有异质性对其适用性构成了很大的限制,尤其是在面对模型体系结构中的差异时 ...
自然语言到可视化(NL2VIS)任务旨在将自然语言描述转换为接地表的视觉表示形式,从而使用户能够从大量数据中获得见解。最近,已经为NL2VI开发了许多基于深度学习的方法。尽管这些方法做出了巨大的努力,但挑战仍在可视化来自看不见的数据库或跨越多个表的数据 ...
现有的现有自动音频生成方法难以有效地生成类似播客的音频程序。主要的挑战在于深入的内容产生,适当和表现力的语音生产。本文提出了Podagent,这是一个创建音频程序的综合框架 ...
语言模型后训练用于改进行为并解锁各种最新语言模型的新技能,但应用这些技术的开放方法落后于专有技术。底层训练数据和训练后的配方既是难题中最重要的部分,也是透明度最低的部分。为了弥补这一差距,我们推出了 TÜLU 3,这是一系列完全开放的、最先进的训练后模型及其数据、代码和训练方法,可作为现代训练后技术的综合指南 ...
大型语言模型(LLM)已在各种任务中证明了能力。但是,许多LLM在高资源和低资源语言之间表现出很大的性能差异。为了缓解这一挑战,我们提出了一种开源的多语言LLM Fuxitranyu,旨在满足研究社区的需求,以实现平衡且高性能的多语言能力 ...
人工神经网络在解决特定刚性任务的分类问题方面蓬勃发展,通过从不同的训练阶段通过广义学习行为获取知识。由此产生的网络类似于知识的静态实体,并努力扩展这些知识而不针对原始任务导致灾难性遗忘。持续的学习将这种范式转移到可以在不同任务上不断积累知识的网络,而无需从头开始重新训练 ...
大型语言模型 (LLM) 的采样输出质量可能表现出相当大的变化。从采样集中重新排序并选择最佳生成是获得生成质量大幅提升的一种流行方法。在本文中,我们提出了一种对 LLM 世代重新排名的新方法 ...
阻塞性睡眠呼吸暂停综合征(OSA)是最常见的与睡眠有关的呼吸障碍。这是由于睡眠期间的上呼吸道阻力增加引起的,这决定了气流部分或完全中断的发作。 OSA的检测和治疗在中风患者中尤为重要,因为严重的OSA的存在与较高的死亡率,神经功能障碍较差,康复后的功能效果较差以及不受控制的高血压可能性更高 ...