检索增强生成 (RAG) 将大型语言模型 (LLM) 的生成能力与外部知识源相结合,以提供更准确和最新的响应。最近的 RAG 进展侧重于通过 LLM 的迭代改进或通过 LLM 的额外指令调整获得的自我批评能力来改善检索结果。在这项工作中,我们引入了推测 RAG——一个框架,利用更大的通才 LM 来有效验证由更小的、精炼的专业 LM 并行生成的多个 RAG 草稿 ...
扩展测试时间计算已成为启用大型语言模型(LLM)来解决困难问题的关键要素,但带有高延迟和推理成本。我们介绍了睡眠时间计算,该计算允许模型在询问查询之前“脱机”有关上下文的“思考”:通过预测用户可能会询问的询问并预先计算有用数量,我们可以在测试时大大降低计算要求。为了证明我们方法的功效,我们创建了两个推理任务的修改版本 - 状态的GSM -Symbolic和状态AIME ...
多任务机器人学习在应对多样化和复杂方案方面至关重要。但是,在收集培训数据集方面的性能问题和困难使当前的方法受到阻碍。在本文中,我们提出了细菌(通才机器人模型) ...
尽管大型语言模型(LLMS)在以零拍的方式执行复杂任务方面表现出了重要的能力,但它们容易受到越狱攻击的影响,并且可以操纵以产生有害的产量。最近,越来越多的研究将越狱攻击归类为 Token 级别和迅速级别的攻击。但是,先前的工作主要忽略了越狱攻击的各种关键因素,大多数研究都集中在LLM脆弱性上,缺乏对防御增强的LLM的探索 ...
多模态视觉语言模型 (VLM) 已成为计算机视觉和自然语言处理交叉领域的一项变革性技术,使机器能够通过视觉和文本模态感知和推理世界。例如,CLIP、Claude 和 GPT-4V 等模型在视觉和文本数据上表现出强大的推理和理解能力,并在零样本分类上击败了经典的单模态视觉模型。尽管 VLM 在研究方面取得了快速进展并且在应用中越来越受欢迎,但对 VLM 现有研究的全面调查仍然非常缺乏,特别是对于那些 ...
根据客户的属性和过去的购买行为,准确预测客户的未来生命周期价值(ltv),从而实现更加以客户为中心的营销策略。营销人员可以根据预测的生命周期价值将客户分为不同的类别,然后定制营销信息或广告文案,以更好地为不同细分市场的客户提供服务。此外,ltv预测可以直接为营销预算分配提供信息 ...
大多数现代推荐系统可以通过两个组件来预测用户的偏好:用户和项目嵌入学习,然后是用户 - 项目交互建模。通过利用辅助审核信息伴随着用户评分,许多现有的基于审核的建议模型丰富了用户/项目嵌入学习能力,具有历史评论或更好地建模的用户项目互动,并在可用的用户项目目标审查的帮助下。尽管已经取得了重大进展,但我们认为目前的基于审查建议的解决方案遭受了两个缺点 ...
关于合成数据的培训模型已成为改善生成AI性能的越来越重要的策略。由于与仅语言数据相比,高质量配对的图像文本数据的相对稀缺性相对稀缺,因此这种方法对大型多模型模型(LMM)特别有用。尽管已经提出了多种生成大型多模式数据集的方法,但它们并未量身定制合成数据来解决LMMS推理能力中的特定缺陷,这些缺陷将通过生成的数据集进行培训 ...