多模态大型语言模型(MLLM)最近已成为学术界和工业界的一个重要焦点。尽管他们精通一般的多模式场景,但视觉环境中的数学问题解决能力仍未得到充分探索。我们确定了 MLLM 中需要改进的三个关键领域:数学图表的视觉编码、图表语言对齐和数学推理技能 ...

0 0 0 0 2024/07/12 arXiv:2407.08739v1 xx

我们提出了 Adam-mini,这是一种优化器,其性能与 AdamW 相当或更好,并且内存占用减少了 45% 到 50%。 Adam-mini 通过减少 Adam 中的学习率资源来减少内存(即 ...

0 0 0 0 2024/07/06 arXiv:2406.16793v5 xx

我们推出了 InternLM-XComposer-2.5 (IXC-2.5),这是一种支持长上下文输入和输出的多功能大视觉语言模型 ...

0 0 0 0 2024/07/05 arXiv:2407.03320v1 xx

在本文中,我们提出了一种开源、生产优先、生产就绪的语音识别工具包,称为 WeNet,其中实现了一种新的两遍方法,以统一流式和非流式端到端 (E2E) 语音识别。单一模型。 WeNet 的主要动机是缩小端到端语音识别模型的研究和生产之间的差距。 WeNet 提供了一种在多个现实场景中交付 ASR 应用程序的有效方法,这是与其他开源端到端语音识别工具包的主要区别和优势 ...

0 0 1 15 2024/07/04 arXiv:2102.01547v5 xx

我们提出了一种新颖的角色驱动数据合成方法,该方法利用大型语言模型(LLM)中的各种视角来创建多样化的合成数据。为了大规模地充分利用这种方法,我们引入了 Persona Hub——一个根据网络数据自动整理的 10 亿个不同角色的集合。这 10 亿个人角色(约占世界总人口的 13%)作为世界知识的分布式载体,可以利用 LLM 中包含的几乎所有视角,从而促进为各种场景大规模创建多样化的合成数据 ...

0 0 0 0 2024/07/03 arXiv:2406.20094v1 xx

由于准确性需要广泛且精确的推理链,数学推理对大型语言模型 (LLM) 提出了重大挑战。确保每个推理步骤的正确性至关重要。为了解决这个问题,我们的目标是通过学习人类反馈来增强 LLM 的稳健性和真实性 ...

0 0 0 0 2024/06/28 arXiv:2406.18629v1 xx

上下文学习是大型语言模型(LLM)中的一个关键范例,它使它们能够通过简单地用一些示例来提示这些模型而无需显式参数更新来推广到新的任务和领域。人们做出了许多尝试来理解 LLM 中的情境学习作为模型规模、预训练数据和其他因素的函数。在这项工作中,我们提出了一种新机制,从决策边界的角度探索和理解上下文学习,以进行上下文二元分类 ...

0 0 1 8 2024/06/25 arXiv:2406.11233v1 xx

我们引入了 CVSS,这是一个大规模多语言到英语的语音到语音翻译 (S2ST) 语料库,涵盖从 21 种语言到英语的句子级并行 S2ST 对。 CVSS 源自 Common Voice 语音语料库和 CoVoST 2 语音到文本翻译 (ST) 语料库,通过使用最先进的 TTS 系统将 CoVoST 2 的翻译文本合成为语音。提供两种版本的翻译语音: 1)CVSS-C:所有翻译语音均为单一高质量规范语音; 2) CVSS-T:翻译语音是从相应的源语音转移来的语音 ...

0 0 1 2 2024/06/24 arXiv:2201.03713v3 xx

大语言模型(LLM)中的人类对齐是一个活跃的研究领域。最近的一项突破性工作,直接偏好优化(DPO),通过绕过人类反馈强化学习(RLHF)中的奖励学习阶段,极大地简化了过去的工作过程。 DPO 经过训练后,提供隐式奖励模型 ...

0 0 0 0 2024/06/23 arXiv:2406.09760v1 xx

直接语音到语音翻译 (S2ST) 可以联合优化所有组件,比级联方法更有优势,可以通过简化的管道实现快速推理。我们提出了一种新颖的两遍直接 S2ST 架构 UnitY,它首先生成文本表示,然后预测离散声学单元。我们通过第一遍解码器中的子字预测、先进的两遍解码器架构设计和搜索策略以及更好的训练正则化来增强模型性能 ...

0 0 1 26 2024/06/20 arXiv:2212.08055v2 xx

来一起翻译吧!


为了您和其他读者获得更好的阅读体验,请您在阅读时勇敢地改正翻译,特别是一些显而易见的机器翻译错误。


虽然我们追求卓越,但我们并不要求翻译十全十美,因此请不要担心您翻译有误 —— 我们的服务器已经记录所有的翻译,您不必担心会因为您的失误导致无法挽回的破坏。(改编自维基百科)