随着大型语言模型（LLM）的发展迅速发展，在不损害其效用的情况下有效地确保这些模型已成为研究的关键领域。但是，目前针对越狱袭击的防御策略（即 ...

预先训练的语言模型在各种自然语言理解（NLU）任务中取得了巨大的成功，因为它可以通过对大型语料库进行预培训来捕获文本中的深层上下文化信息。在这份技术报告中，我们介绍了对中国NLU任务的中国语料库和填充的名为Nezha的训练前语言模型（神经情境化表示）。 NEZHA的当前版本基于BERT，其收集了一系列可靠的改进，其中包括功能相对位置编码作为有效的位置编码方案，整个单词掩盖策略，混合精度训练以及训练 ...

这项工作从在线优化角度提供了对马尔可夫决策过程（MDP）的新解释。在这种在线优化环境中，MDP的策略被视为决策变量，而相应的值函数被视为来自环境的回报。基于这种解释，我们构建了由MDP引起的Blackwell游戏，该游戏弥合了MDP的遗憾最小化，Blackwell的可接近性理论和学习理论之间的差距 ...

推理模型在传统语言模型遇到的艰巨任务上表现出了令人印象深刻的表现。但是，许多人困扰着过度思考的问题，这使大量不必要的 Token 产生了无法提高问题准确性的不必要 Token 。我们介绍了问题级难度的近似度量，并证明存在问题难度和最佳 Token 支出之间存在明确的关系，并评估校准多种推理模型在有效分配最佳 Token 计数方面的校准程度 ...

我们培训了13,440个大语言模型，发现熵最小化仅需要一个未标记的数据和10个步骤优化，以实现与使用数千个数据和基于规则的增强学习中精心设计的奖励相当甚至更大的性能改进。这个惊人的结果可能会促使大型语言模型重新思考训练后范例。我们的代码在此HTTPS URL上可用 ...

改善复杂任务的绩效，并在大型语言模型（LLMS）中启用可解释的决策，尤其是对于临床应用，需要有效的推理。然而，如果没有监督的微调（SFT），这仍然具有挑战性，这是对封闭源模型蒸馏出的昂贵的三链（COT）数据（例如， ...

LLMS在大量的非结构化文档集合中启用了令人兴奋的新类数据处理应用程序。几个新的编程框架使开发人员可以通过语义运算符构成这些应用程序来构建这些应用程序：具有自然语言规格的AI驱动数据转换集。其中包括LLM驱动的地图，过滤器，加入等 ...

当前语言模型（LMS）的关键缺失能力正在实现现实环境。基础语言理解的大多数现有工作都使用LMS直接生成可以在环境中执行的计划以实现所需的效果。因此，它赋予了LMS上的语法，忠诚和可控性的负担 ...