众所周知，大型语言模型（LLM）容易受到精心设计的对抗性攻击或越狱，尽管使用安全微调方法与人类的偏好保持一致，但导致了令人反感的内容。尽管输入 Token 空间的巨大维度使得找到可以越狱这些模型的对抗性提示是不可避免的，但我们旨在评估安全性微调的LLM是否安全地抵抗自然提示，这些提示与有毒种子提示在对齐后会引起安全响应。我们出乎意料地发现，流行的对齐的LLM（例如GPT-4）可以使用幼稚的提示来妥 ...

基于 Transformer 的大型语言模型（LLM）在各种任务中取得了巨大的成功。然而，由于资源限制和沟通开销，对联合学习（FL）设置中的这种大规模模型（FL）设置中的微调构成了重大挑战。低级适应性（LORA）通过训练紧凑，低级矩阵而不是完全微调的大型模型来解决这些问题 ...

遥感（RS）视觉任务已获得了重要的学术和实际重要性。但是，它们遇到了许多阻碍有效特征提取的挑战，包括对单个图像中表现出很大变化的多个对象的检测和识别。尽管以前的双分支或多分支架构策略在管理这些对象差异方面已经有效，但它们同时导致了计算需求和参数计数的大幅度增加 ...

Recent advancements in video understanding within visual large language models (VLLMs) have led to notable progress. However, the complexity of video data and contextual processing limitations still h ...

随着大型语言模型（LLM）的出现，神经机器翻译（NMT）的领域发生了变化。自然语言处理（NLP）最近的许多重点都用于建模机器翻译和许多其他使用单个预训练的 Transformer 解码器的问题，而编码器decoder架构（在早期NMT模型中是标准的编码器架构）受到了相对较少的关注。在本文中，我们通过将LLM的世界与NMT世界结合在一起，探讨了通用，高效且易于优化的翻译模型 ...

神经网络中通常发生的计算成语是对矩阵乘法的结果进行一些点式操作。这种操作序列通常表示为深度学习编译器中的计算图。当编译到GPU目标时，这些计算可以单独映射到Cublas和Cudnn等库提供的手动调整实现 ...

来自人类反馈的强化学习（rlhf）是调整大型语言模型（llm）的关键，通常与近端策略优化（ppo）算法配合使用。虽然ppo是一种专为一般强化学习任务而设计的强大方法，llm来说过于复杂，导致费力的超参数调整和巨大的计算负担。为了提高rlHf的效率，我们推出了 ...

这项研究研究了在大语言模型（LLMS）的上下文中的机器学习技术，称为\ textit {llm uncorning}。 LLM Uncorning提供了一种原则性的方法来消除不良数据的影响（例如 ...