随着深度学习的发展,自然语言处理技术有效提高了传统司法行业各方面的效率。然而,目前大多数工作都集中在单个司法阶段的任务上,很难处理跨多个阶段的复杂任务。随着大型语言模型支持的自主代理变得越来越聪明,能够在现实环境中做出复杂的决策,为司法情报提供了新的见解 ...
大型语言模型 (LLM) 最近引起了广泛关注,主要是因为它们在基于文本的交互方面的能力。然而,自然的人类交互通常依赖于语音,因此需要转向基于语音的模型。实现这一目标的一个简单方法涉及“自动语音识别(ASR)+ LLM + 文本到语音(TTS)”的管道,其中输入语音被转录为文本,由 LLM 处理,然后转换回语音 ...
作为增强预训练大型语言模型(LLM)的一种方式,知识注入对于开发垂直领域大型模型至关重要,并且已得到广泛研究。尽管当前的大多数方法,包括参数高效微调(PEFT)和块扩展方法,都在所有 LLM 层中统一应用知识,但它提出了一个问题:所有层对于知识注入都同样重要吗?我们首先评估每一层在寻找知识注入的最佳层范围方面的重要性。直观上,更重要的层应该在知识注入中发挥更关键的作用,并且值得更密集的注入 ...