SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training

监督的微调（SFT）和增强学习（RL）是基础模型的广泛使用的培训技术。但是，它们在增强模型概括功能中的作用尚不清楚。本文研究了SFT和RL在泛化和记忆方面的差异，重点是基于文本的规则变体和视觉变体 ...

An Empirical Analysis on Spatial Reasoning Capabilities of Large Multimodal Models

大型多模态模型 (LMM) 在一系列视觉和语言任务中取得了出色的性能。然而，他们的空间推理能力尚未得到充分研究。在本文中，我们构建了一个新颖的 VQA 数据集 Spatial-MM，以全面研究 LMM 的空间理解和推理能力 ...

Imagine while Reasoning in Space: Multimodal Visualization-of-Thought

事实证明，思想链 (CoT) 提示对于增强大型语言模型 (LLM) 和多模态大型语言模型 (MLLM) 中的复杂推理非常有效。然而，它在复杂的空间推理任务中表现不佳。尽管如此，人类认知超越了语言本身，具有以文字和图像进行思考的非凡能力 ...

GPT4Scene: Understand 3D Scenes from Videos with Vision-Language Models

近年来，2D 视觉语言模型 (VLM) 在图像文本理解任务中取得了重大进展。然而，它们在对体现智能至关重要的 3D 空间理解方面的表现仍然有限。最近的进展利用 3D 点云和多视图图像作为输入，产生了有希望的结果 ...

High-Dimension Human Value Representation in Large Language Models

大型语言模型 (LLM) 在各种任务和领域的广泛应用使得这些模型必须与人类价值观和偏好保持一致。鉴于人类价值调整的方法多种多样，从人类反馈强化学习（RLHF）到宪法学习等，迫切需要在模型发布之前了解注入这些模型的人类价值的范围和性质 ...

SELF-[IN]CORRECT: LLMs Struggle with Discriminating Self-Generated Responses

LLM 能否持续改进之前的成果以获得更好的结果？要做到这一点， LLM 需要更好地区分先前生成的替代方案，而不是生成初始响应。我们在实践中探讨了这一假设的有效性。我们首先制定一个统一的框架，使我们能够比较任何模型在任何任务上的生成和判别能力 ...

SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal Behaviors

评估一致的大语言模型 (LLM) 识别和拒绝不安全用户请求的能力对于安全、符合策略的部署至关重要。然而，现有的评估工作面临三个限制，我们通过我们提出的基准 SORRY-Bench 来解决这些限制。首先，现有方法经常使用不安全主题的粗粒度分类法，并且过度代表了一些细粒度主题 ...

Social Bias Probing: Fairness Benchmarking for Language Models

虽然社会偏见对语言模型的影响已经被认识到，但先前的偏见评估方法仅限于小数据集的二元关联测试，限制了我们对偏见复杂性的理解。本文提出了一种新的框架，通过评估不同的待遇来探讨社会偏见的语言模型，其中包括根据个人与敏感人口群体的隶属关系对他们进行不同的对待。我们策划了 SoFa，这是一个大型基准测试，旨在解决现有公平性集合的局限性 ...

SafeText: A Benchmark for Exploring Physical Safety in Language Models

了解安全文本的构​​成是自然语言处理中的一个重要问题，通常可以防止部署被认为有害和不安全的模型。一种很少被研究的安全类型是常识性的人身安全，即常识性的人身安全 ...

Latent Hatred: A Benchmark for Understanding Implicit Hate Speech

社交媒体上的仇恨言论大幅增长，给所有人口群体的受害者造成了严重后果。尽管人们对歧视性言论的特征和检测给予了很多关注，但大多数工作都集中在明确或公开的仇恨言论上，未能解决基于编码或间接语言的更普遍的形式。为了填补这一空白，这项工作引入了一种理论上合理的隐性仇恨言论分类法，以及一个为每条消息及其含义提供细粒度标签的基准语料库 ...