Intention and Context Elicitation with Large Language Models in the Legal Aid Intake Process

大型语言模型 (LLM) 和聊天机器人在简化法律受理流程方面显示出巨大的前景。这一进步可以大大减少法律援助组织的工作量和成本，提高可用性，同时使更广泛的受众更容易获得法律援助。然而，当前 LLM 面临的一个关键挑战是，他们倾向于根据从训练数据中学到的输出分布，过于自信地对客户的问题立即提供“最佳猜测” ...

ICL Markup: Structuring In-Context Learning using Soft-Token Tags

大型预训练语言模型 (LLM) 可以通过文本到文本的方法快速适应各种任务，其中指令和输入以自然语言输入模型。与情境学习 (ICL) 相结合，这种范例非常灵活且强大。然而，它也给用户带来了大量的选择，其中许多选择是任意的 ...

Fine-grained Contract NER using instruction based model

最近，基于指令的技术在提高小样本学习场景的性能方面取得了重大进展。他们通过弥合预训练语言模型和针对特定下游任务的微调之间的差距来实现这一目标。尽管取得了这些进步，大型语言模型 (LLM) 在使用提示或指令的命名实体识别 (NER) 等信息提取任务中的性能仍然低于监督基线 ...

PARAMANU-AYN: An Efficient Novel Generative and Instruction-tuned Language Model for Indian Legal Case Documents

在本文中，我们提出了 PARAMANU-AYN，这是一种完全基于印度最高法院的案例文件、印度宪法和印度刑法典的语言模型。基于新颖的自回归 (AR) 解码器的模型是在上下文大小 8192 下从头开始预训练的。我们根据困惑度指标评估了预训练的法律模型 ...

MADLAD-400: A Multilingual And Document-Level Large Audited Dataset

我们引入了 MADLAD-400，这是一个基于 CommonCrawl 的手动审核的通用域 3T Token 单语数据集，涵盖 419 种语言。我们讨论了自我审核 MADLAD-400 所揭示的局限性，以及数据审核在数据集创建过程中的作用。然后我们训练并发布 10 ...

Wisdom of the Silicon Crowd: LLM Ensemble Prediction Capabilities Rival Human Crowd Accuracy

实践中人类预测的准确性依赖于“群体智慧”效应，通过将一群个体预测者进行汇总，可以显着提高对未来事件的预测。过去对大型语言模型 (LLM) 预测能力的研究表明，前沿 LLM 作为个人预测者，与人类预测锦标赛总体的黄金标准相比表现不佳。在研究 1 中，我们通过使用由 12 名法学硕士组成的法学硕士整体方法来扩展这项研究 ...