搜索增强生成（RAG）是一种强大的技术，可以促进建立注册和注册数据的语言模型，其中数据隐私是一个关键问题。尽管广泛的研究已经证明了大型语言模型（LLM）的隐私风险，但 RAG 技术可能会汇集 LLM 生成的固有行为，从而提出目前尚未充分探讨的新隐私问题。在此项工作中，我们利用新颖的攻击方法进行了广泛的关联研究，论证了 RAG 系统在泄露隐私中的情况搜索数据库方面的脆弱性... ...

在这项工作中，我们的目标是学习一种基于视觉的统一策略，让多指机器人手以不同的姿势操纵各种物体。尽管之前的工作已经表明使用人类视频进行策略学习的好处，但性能提升受到估计轨迹中的噪声的限制。此外，对特权对象信息（例如真实对象状态）的依赖进一步限制了其在现实场景中的适用性 ...

专家混合 (MoE) 架构最近在大型语言模型 (LLM) 领域越来越受欢迎，因为它们能够显着减少训练和推理开销。然而，MoE 架构面临着挑战，例如分配给每个专家的 Token 数量存在显着差异，以及专家之间的同质化趋势，这对模型的语义生成能力产生不利影响。在本文中，我们介绍了 LocMoE+，这是低开销 LocMoE 的改进版本，包含以下增强功能：（1）量化和定义专家和 Token 之间的亲和力  ...

提示和情境学习（ICL）已成为大型语言模型（LLM）的有效学习范例。然而，LLM 面临着提示的脆弱性和提示中的各种偏见因素，包括但不限于格式、语言选择和 ICL 示例。为了解决导致意外性能下降的问题，我们开发了校准方法来减轻这些偏差的影响，同时恢复 LLM 性能 ...

提示调优（PT）将少量可训练的软（连续）提示向量附加到语言模型（LM）的输入中，在参数高效微调（PEFT）的各种任务和模型中显示出有希望的结果。 PT 从其他 PEFT 方法中脱颖而出，因为它用更少的可训练参数保持了有竞争力的性能，并且不会随着模型大小的扩展而大幅扩展其参数。然而，PT 引入了额外的软提示标记，导致输入序列更长，由于 Transformer 的二次复杂度，这显着影响了训练和推理时间 ...

如今，像LLaMA这样的开源大型语言模型已经出现。最近的发展结合了监督微调（SFT）和强化学习微调（RLFT），使这些模型与人类目标保持一致。然而，SFT 方法平等地对待所有具有混合质量的训练数据，而 RLFT 方法需要高质量的成对或基于排序的偏好数据 ...

虚拟竞价在两次结算的电力市场中发挥着重要作用，因为它可以减少日前市场和实时市场之间的差异。可再生能源的普及增加了电价的波动性，因此准确的预测对于虚拟投标人至关重要，从而减少不确定性并实现利润最大化。本研究提出了一种基于 Transformer 的深度学习模型，用于预测 ERCOT（德克萨斯州电力可靠性委员会）市场中实时电价与日前电价之间的价差 ...

多模态大型语言模型（MLLM）的快速发展促进了计算机视觉从专用模型向通用基础模型的转变。尽管如此，评估 MLLM 的低级视觉感知和理解能力仍然存在不足。为了解决这一差距，我们提出了 Q-Bench，这是一个整体基准，旨在系统地评估 MLLM 在三个领域的潜在能力：低级视觉感知、低级视觉描述和整体视觉质量评估 ...