大型语言模型（LLM）在各种自然语言处理任务中表现出了显着的功能。但是，在数学推理和非英语语言等专业领域中实现强大的性能通常需要在大规模数据集上进行广泛的培训。本文研究了一种对比方法：对小型，高质量的双语（英语）数据集进行战略性微调，以增强大语言模型的推理能力和法语能力 ...

Babylm挑战要求参与者开发样本效率的语言模型。在固定的英语语料库中鉴定了提交的意见，仅限于儿童在发育中暴露的单词数量(<100m）。挑战为数据有效的语言建模提供了新的体系结构，该建筑的表现优于对数万亿个单词的训练的模型 ...

有效的分布式数值表示模型（单词嵌入）与现代机器学习算法相结合，最近对自动文档分类任务产生了可观的改进。但是，尚未评估此类技术的有效性，以评估分层文本分类（HTC）。这项研究通过实验和分析研究了这些模型和算法在此特定问题上的应用 ...

平面布置是表面和音量建模的有用工具。但是，它们的主要缺点是可扩展性差。我们介绍了两个关键的新颖性，可以为复杂物体和整个场景的平面布置构建：（i）平面插入的订购方案，以及（ii）在布置构建过程中直接使用输入点 ...

近年来，已经引入了各种最先进的自动驾驶汽车系统和架构。这些方法包括依赖高清（HD）地图的计划者和以端到端方式学习自治代理控件的模型。虽然端到端型号旨在求解HD地图的可伸缩性约束，但它们并未对不同的车辆和传感器配置进行推广 ...

从人类反馈（RLHF）中学习的成功在很大程度上取决于奖励模型的质量。尽管这种质量主要是通过准确性评估的，但尚不清楚准确性是否完全捕获了使奖励模型成为有效老师的原因。我们从优化的角度解决了这个问题 ...

在这项工作中，我们证明了小语言模型（SLM），特别是100m参数GPT-2模型，可以在多任务及时生成任务中实现竞争性能，而仅需要大语言模型（LLMS）所需的计算资源的一小部分。通过从功能强大的LLM，Llama-3中进行颠倒的增强学习和合成数据蒸馏的新型组合，我们训练一个SLM，该SLM在最先进的模型的5％以内，包括Llama-3，Qwen2和Mistral，尽管高达80倍，但最多适合资源限制和实 ...

基于图的检索演示生成（RAG）方法显着提高了特定于域特定任务中大语言模型（LLM）的性能。但是，现有的抹布方法不能充分利用人类认知中自然固有的层次知识，这限制了抹布系统的能力。在本文中，我们介绍了一种新的抹布方法，称为Hirag，该方法利用层次知识来增强索引和检索过程中抹布系统的语义理解和结构捕获功能 ...