本文介绍了一项有关在机器翻译(MT)任务的背景下增强大语言模型(LLM)翻译功能的策略的研究。本文提出了一个新的范式,该范式包括三个阶段:使用广泛的单语言数据进行二级预训练,与Interlinear Text格式文档的持续预训练,并利用源语言一致的指导进行监督的微调。先前对LLM的研究重点是各种监督微调策略(SFT),但其有效性受到限制 ...
尽管机器翻译中最近的神经网络的升高,但如果培训数据不足,这些网络仍无法正常工作。在本文中,我们提出了一种使用低资源语言的机器翻译方法,例如越南 - 中国。我们提出的方法利用了多语言预训练的语言模型(MBART)以及越南和中国单语语料库的力量 ...
与$ l $单个型号相比,结合神经机器翻译(NMT)模型的产生更高的翻译。最近的方法通常采用候选选择块(CSB)和编码器融合块(FB),需要在\ textit {All}候选模型上进行推断,从而导致大量的计算开销,通常是$ \ omega(l)$。本文介绍了\ textbf {smartgen},这是一种基于强化学习(RL)的策略,该策略通过选择少数固定数量的候选人并识别最佳组来改善CSB,以将每个输入句子传递给Fusion Block ...
大型语言模型(LLM)在自然语言处理任务中表现出很大的潜力,但是由于对以英语为中心的数据进行了预读以及从人类反馈(RLHF)中进行强化学习的复杂性,因此它们在机器翻译(MT)中的应用仍然具有挑战性。直接偏好优化(DPO)已成为一种更简单,更有效的替代方案,但其性能在很大程度上取决于偏好数据的质量。为了解决这个问题,我们提出了置信度奖励驱动的偏好优化(CRPO),这是一种新颖的方法,将奖励分数与模型置信度相结合,以改善数据选择以进行微调 ...
尽管表现出色,但机器翻译(MT)的研究在翻译语言(例如成语,谚语和口语表情)的文化元素方面仍未得到充实。本文研究了最新的神经机器翻译(NMT)和大语言模型(LLMS)在翻译谚语中的能力,这些谚语深深植根于文化背景。我们在四个语言对的对话中构建了独立谚语和谚语的翻译数据集 ...
本文介绍了VLSP 2022-2023机器翻译共享任务的结果,该任务重点介绍了越南 - 中国和越南洛的机器翻译。这些任务是在第9届第10届越南语言和语音处理的年度研讨会的一部分(VLSP 2022,VLSP 2023)。共同任务的目的是建立机器翻译系统,特别针对越南 - 中国和越南劳翻译(对应于4个翻译说明) ...
人工智能领域见证了自然语言处理的重大进步,这在很大程度上归因于大语言模型(LLMS)的能力。这些模型构成了旨在解决长篇下说依赖性的代理的骨干,尤其是在文档级机器翻译(DOCMT)中。 DOCMT提出了独特的挑战,质量,一致性和流利度是评估的关键指标 ...
数字不准确的翻译可能会导致重大的安全问题,从财务挫折到医疗不准确。尽管大型语言模型(LLM)在机器翻译方面取得了重大进步,但其翻译数字的能力尚未得到彻底探索。这项研究重点是评估基于LLM的机器翻译系统的可靠性时,处理数值数据时 ...
时间图聚类是一项复杂的任务,涉及在关系和实体随时间变化的动态图中发现有意义的结构。现有方法通常需要集中数据收集,这带来了巨大的隐私和通信挑战。在这项工作中,我们介绍了一个新颖的联合时间图群集(FTGC)框架,该框架可以使图形神经网络(GNN)跨多个客户进行分散培训,从而确保整个过程中的数据隐私 ...
本文介绍了翻译提示链(CoTR),这是一种旨在增强低资源语言中语言模型性能的新颖策略。 CoTR 重组提示首先将输入上下文从低资源语言翻译为高资源语言,例如英语。然后对翻译后的文本执行指定的任务,如生成、分类或任何其他 NLP 功能,并可以根据需要将输出翻译回原始语言 ...