RLAIF-V: Open-Source AI Feedback Leads to Super GPT-4V Trustworthiness

从反馈中学习可以使多模态大语言模型（MLLM）与人类偏好保持一致，从而减少它们的幻觉。虽然传统方法依赖于劳动密集型和运行的手动标记，但最近采用模型作为自动标记器该方法在人工干预的情况下显示出了希望的结果。然而，这些方法严重依赖于昂贵的母模型（如 GPT-4V），导致可扩展性问题...... ...

Scalable Vision Language Model Training via High Quality Data Curation

在本文中，我们介绍了 SAIL-VL（通过高质量数据管理进行的 ScAlable 视觉语言模型训练），这是一种具有 2B 参数的最先进 (SOTA) 性能的开源视觉语言模型 (VLM)。我们介绍了有助于 SAIL-VL 领先性能的三个关键改进：（1）可扩展的高质量视觉理解数据构建：我们实现了视觉理解数据构建管道，可实现亿级高质量重述数据注释。配备此管道，我们策划了 SAIL-Caption，这是一个与开源字幕数据集相比数量大且数据质量最高的大规模字幕数据集 ...

Multimodal Preference Data Synthetic Alignment with Reward Model

多模态大语言模型（MLLM）通过集成视觉和文本数据来完成显着的高级任务，例如标题生成和视觉问答。然而，由于预训练数据与真实用户提示之间的差异，它们有时会产生误导或幻觉内容。在视觉语言任务中使用直接偏好优化 (DPO) 的现有方法通常依赖于 GPT-4 或 CLIP 等强大模型来确定正面和负面响应 ...

VLRewardBench: A Challenging Benchmark for Vision-Language Generative Reward Models

视觉语言生成奖励模型（VL-GenRM）在调整和评估多模式人工智能系统方面发挥着至关重要的作用，但其自身的评估仍未得到充分探索。目前的评估方法主要依赖于传统 VL 任务中人工智能注释的偏好标签，这可能会引入偏差，并且往往无法有效挑战最先进的模型。为了解决这些限制，我们引入了 VL-RewardBench，这是一个涵盖一般多模式查询、视觉幻觉检测和复杂推理任务的综合基准测试 ...

Calibrated Self-Rewarding Vision Language Models

通过指令调优集成预训练的大语言模型 (LLM) 和视觉模型，大型视觉语言模型 (LVLM) 取得了实质性进展。尽管取得了这些进步，LVLM 经常表现出幻觉现象，其中生成的文本响应在语言上看似合理，但与输入图像相矛盾，表明图像和文本对之间存在偏差。出现这种不一致的原因是模型倾向于优先考虑文本信息而不是视觉输入，即使语言模型和视觉表示都是高质量的 ...

LLaVA-CoT: Let Vision Language Models Reason Step-by-Step

大型语言模型在推理能力方面已经展现出巨大的进步，特别是通过推理时间缩放，如 OpenAI 的 o1 等模型所示。然而，当前的视觉语言模型（VLM）通常很难执行系统和结构化的推理，特别是在处理复杂的视觉问答任务时。在这项工作中，我们介绍了 LLaVA-o1，这是一种新颖的 VLM，旨在进行自主多阶段推理 ...

Align$^2$LLaVA: Cascaded Human and Large Language Model Preference Alignment for Multi-modal Instruction Curation

多模态大型语言模型 (MLLM)（例如 LLaVA 系列模型）的最新进展是由大量机器生成的指令跟踪数据调优驱动的。然而，这种自动指令收集管道无意中引入了数据质量的显着变化。本文介绍了一种新颖的指令管理算法，该算法从人类和 LLM 偏好对齐这两个独特的角度衍生出来，将机器生成的多模态指令的庞大语料库压缩为紧凑且高质量的形式：（i）对于人类偏好对齐，我们收集了机器生成的多模式指令数据集，并建立了一套全面的主观和客观标准，以批判性地指导人类专家的数据质量评估 ...

VLFeedback: A Large-Scale AI Feedback Dataset for Large Vision-Language Models Alignment

随着大型视觉语言模型 (LVLM) 的快速发展，对高质量和多样化数据来协调这些模型的需求变得越来越重要。然而，事实证明，在人工监督下创建此类数据成本高昂且耗时。在本文中，我们研究了人工智能反馈对调整 LVLM 的规模监督的有效性 ...

Cracking the Code of Hallucination in LVLMs with Vision-aware Head Divergence

大型视觉语言模型 (LVLM) 在将大型语言模型 (LLM) 与视觉输入集成方面取得了实质性进展，从而实现了高级多模态推理。尽管取得了成功，但一个持续存在的挑战是幻觉——生成的文本无法准确反映视觉内容——破坏了准确性和可靠性。现有方法侧重于对齐训练或解码改进，但主要解决生成阶段的症状，而不探究根本原因 ...

Seeing Clearly by Layer Two: Enhancing Attention Heads to Alleviate Hallucination in LVLMs

多模态大语言模型（MLLM）中的幻觉问题仍然是一个常见问题。尽管图像标记占据了 MLLM 输入序列的大部分，但探索图像标记与幻觉之间关系的研究却很有限。在本文中，我们分析了模型各层和头部的图像标记的注意力分数分布，揭示了一个有趣且常见的现象：大多数幻觉与图像标记的自注意力矩阵中的注意力池模式密切相关，其中浅层表现出密集的注意力汇，而较深层则表现出稀疏的注意力汇 ...