大语言模型（LLM）代理在各个领域表现出了卓越的能力，受到学术界和工业界的广泛关注。然而，由于这些代理的自主性和非确定性行为以及不断进化的性质，引起了人们对人工智能安全的严重担忧。从 DevOps 的角度来看，启用代理的可观察性对于确保 AI 安全是必要的，因为利益相关者可以深入了解代理的内部工作原理，从而使他们能够主动了解代理、检测异常并防止潜在的故障 ...
当前的深度神经网络高度过度参数化（高达数十亿个连接权重）并且是非线性的。然而，它们可以通过梯度下降算法的变体几乎完美地拟合数据，并在不过度拟合的情况下达到意想不到的预测精度水平。这些令人敬畏的结果违背了统计学习的预测，并对非凸优化提出了概念上的挑战 ...
广义线性模型 (GLM) 出现在高维机器学习、统计、通信和信号处理中。在本文中，我们分析数据矩阵随机时的 GLM，这与压缩感知、纠错码或神经网络中的基准模型等问题相关。我们评估互信息（或“自由熵”），从中推导出贝叶斯最优估计和泛化误差 ...
大型语言模型（LLM）已成为人工智能的里程碑，其性能可以随着模型大小的增加而提高。然而，这种扩展给训练和推理效率带来了巨大的挑战，特别是在资源有限的环境中部署 LLM ，并且扩展趋势变得越来越不可持续。本文引入了“\textit{能力密度}”的概念作为评估不同规模的 LLM 质量的新指标，并描述了 LLM 在有效性和效率方面的趋势 ...
机器理解（MC）是自然语言处理的核心问题之一，既需要对自然语言的理解，又需要对世界的了解。自多个基准数据集发布以来，已经取得了快速进展，最近最先进的模型甚至在著名的 SQuAD 评估中超越了人类的表现。在本文中，我们将从机器理解中学到的知识转移到序列到序列的任务中，以加深对文本的理解 ...
自注意力在长上下文中表现良好，但具有二次复杂度。现有的 RNN 层具有线性复杂度，但它们在长上下文中的性能受到隐藏状态表达能力的限制。我们提出了一类新的序列建模层，具有线性复杂性和富有表现力的隐藏状态 ...
这项工作报告了深度学习独特的一阶和二阶相变，其现象学与统计物理学中的现象学密切相关。特别是，我们证明了训练损失中预测误差和模型复杂性之间的竞争导致具有一个隐藏层的网络的二阶相变和具有多个隐藏层的网络的一阶相变。所提出的理论与神经网络的优化直接相关，并指出了贝叶斯深度学习中后验崩溃问题的起源 ...
在这项工作中，我们提供了一个框架来推理机器学习中现有的各种目标。我们在这项工作和热力学之间建立了正式的对应关系，并讨论了它的含义 ...
我们研究点积注意力层如何学习位置注意力矩阵（令牌根据各自的位置相互关注）和语义注意力矩阵（令牌根据其含义相互关注）。对于算法任务，我们通过实验展示了相同的简单架构如何学习使用位置或语义机制来实现解决方案。在理论方面，我们研究了具有可训练绑定和低秩查询和关键矩阵的非线性自注意力层的学习 ...
近年来，基于流、扩散或自回归神经网络的强大生成模型的发展，在从广泛领域应用的示例生成数据方面取得了显着的成功。然而，对这些方法的性能的理论分析和对局限性的理解仍然具有挑战性。在本文中，我们朝这个方向迈出了一步，分析了这些方法对一类已知概率分布问题的采样效率，并将其与更传统的方法（如蒙特卡洛马尔可夫链和朗之万）的采样性能进行比较动力学 ...