微调LLM既是计算和内存密集的。虽然参数有效的微调方法（例如Qlora和dora）减少了可训练的参数的数量和较低的内存使用情况，但它们不会降低计算成本。在某些情况下，它们甚至可能会减慢微调 ...
尽管它们被广泛使用，但大型语言模型（LLM）表示和调节下一个标记预测中的不确定性的机制在很大程度上仍未被探索。这项研究调查了被认为影响这种不确定性的两个关键组成部分：最近发现的熵神经元和一组新的组成部分，我们称之为 Token 频率神经元。熵神经元的特点是具有异常高的权重范数，并影响最终层归一化 (LayerNorm) 尺度，以有效缩小逻辑 ...
雷达和摄像机的多模式融合的环境感知对于提高准确性，完整性和鲁棒性至关重要。本文着重于利用毫米波（MMW）雷达和相机传感器融合进行3D对象检测。提出了一种新的方法，该方法在提出了更好的特征表示形式下意识到在鸟眼视图（BEV）下的特征级融合 ...
雷达和摄像头属于最常用的传感器，用于高级驾驶员辅助系统和自动驾驶研究。但是，令人惊讶的是，关于神经网络雷达相机融合的研究很少。原因之一是缺少带有雷达和未掩盖的相机数据的大型汽车数据集，而Nuscenes数据集除外 ...
在深度学习中使用对称性作为归纳偏见已被证明是样本高效模型设计的原则方法。然而，对称性与神经网络中的肩那样的关系并不总是显而易见的。在这里，我们分析了在模棱两可函数中产生的关键限制：它们在单个数据样本级别上破坏对称性的能力无能 ...
Generative AI（Genai）在跨图像，视频和文本等不同格式产生多种和现实的内容方面表现出了非凡的功能。在生成的AI中，人类的参与至关重要，因此HCI文献研究了如何有效建立人与Genai系统之间的合作。但是，目前的文献缺乏一个可以更好地理解人类与人类相互作用的综合框架，因为很少有系统地分析以人为中心的Genai系统的整体方面 ...
推荐系统（RS）的最新进步已纳入了加强学习（RL），将建议作为马尔可夫决策过程（MDP）。但是，在动态在线环境中部署时，经过静态用户数据培训的离线RL策略很容易受到分配的影响。此外，过度专注于利用短期相关项目可能会阻碍探索，从而导致次优建议并对长期用户的收益产生负面影响 ...
在本文中，我们解决了大语言模型（LLMS）中的终身顺序行为不理解问题，其中LLM努力从长时间的用户行为序列（即使在其上下文范围内）提取有用的信息。为了解决这个问题，我们提出了Rellax（检索增强的大语言模型Plus），该框架在数据，提示和参数级别上提供优化。在数据级别，我们引入语义用户行为检索（SUBR）以减少序列异质性，从而使LLMS更容易提取关键信息 ...
