指令训练(IT)是利用指令-响应对训练大型语言模型(LLMs)的过程,已成为将基础预训练 LLMs 转化为开放域对话代理的主要方法。虽然信息技术取得了显著的成功并被广泛采用,但其局限性和不足之处仍未得到充分探索。在本文中,我们通过严格的实验和对 LLM 通过 IT 所发生的变化的深入分析,揭示了 IT 的各种局限性...

0 1 1 20 2024/02/16 arXiv:2402.05119v1

由于基于大语言模型(LLM)的聊天助手具有广泛的能力,而且现有基准在衡量人类偏好方面存在不足,因此对其进行评估具有挑战性。为了解决这个问题,我们探索使用强大的 LLM 作为评委,就更开放的问题对这些模型进行评估。我们研究了大语言模型作为评委的用法和局限性,包括立场、口头禅和自我强化偏差,以及有限的推理能力,并提出了缓解其中一些问题的解决方案...

0 0 0 0 2024/02/16 arXiv:2306.05685v4

自我监督学习(SSL)在语音识别方面取得了巨大成功,但在其他语音处理任务方面的探索还很有限。 由于语音信号包含说话人身份、副语言学、说话内容等多方面信息,因此学习适用于所有语音任务的通用表征具有挑战性。...

0 0 1 3 2024/02/16 arXiv:2110.13900v5