LLM 代理的安全性本质上是与上下文相关的。例如，代理采取的相同操作可能代表合法行为或安全违规，具体取决于导致该操作的指令、正在追求的目标以及该操作是否服务于该目标。然而，针对 LLM 代理的安全攻击的现有定义通常无法捕捉到这种上下文性质。因此，防御面临着基本的实用性与安全性的权衡：在所有环境中统一应用防御可能会导致严重的实用性损失，而在不充分或不适当的环境中应用防御可能会导致安全漏洞。在这项工作中，我们提出了一个从上下文安全角度系统化现有攻击和防御的框架。为此，我们提出了四个安全属性来捕获 LLM 代理的上下文安全性：任务对齐（追求授权目标）、操作对齐（服务于这些目标的单个操作）、源授权（从经过身份验证的源执行命令）和数据隔离（确保信息流尊重特权边界）。我们进一步引入了一组预言函数，可以验证代理执行用户任务时是否违反了这些安全属性。使用这个框架，我们将现有的攻击（例如间接提示注入、直接提示注入、越狱、任务漂移和内存中毒）重新定义为违反一个或多个安全属性，从而为这些攻击提供精确的上下文定义。同样，我们将防御重新定义为加强预言机功能或执行安全属性检查的机制。最后，我们讨论了我们的框架所支持的几个重要的未来研究方向 ...
随着大型语言模型（LLM）的使用越来越多，其安全风险越来越受到关注。现有研究表明， LLM 非常容易受到越狱攻击，其有效性因语言环境而异。本文研究了文言文在越狱攻击中的作用。由于其简洁性和晦涩性，文言文可以部分绕过现有的安全限制，暴露出 LLM 的显着漏洞。基于这一观察，本文提出了一种基于多维果蝇优化的文言对抗提示自动生成框架CC-BOS，促进黑盒环境中高效、自动化的越狱攻击。提示被编码为角色、行为、机制、隐喻、表达、知识、触发模式和情境八个策略维度；并通过气味搜索、视觉搜索和柯西突变进行迭代细化。这种设计可以有效地探索搜索空间，从而提高黑盒越狱攻击的有效性。为了提高可读性和评估准确性，我们进一步设计了文言英译模块。大量实验表明，所提出的 CC-BOS 的有效性始终优于最先进的越狱攻击方法 ...
我们在 IllustrisTNG100 模拟中提出了一个基于机器学习的模型，用于描述质量为 $M \gtrsim 7\times 10^8\,h^{-1}{\rm M}_\odot$ 的子晕总密度分布。该模型基于可解释的变分编码器 (IVE)，它返回低维表示内密度分布变化的独立因素，以及密度分布本身的预测。 IVE 返回对所有径向范围的准确且公正的预测，包括子晕经历潮汐剥离的外部区域剖面；其配合精度超过了常用的 Einasto 轮廓。 IVE 在剖面中发现了三个独立的自由度，这可以根据子晕的形成历史来解释。除了控制轮廓标准化和内部形状的两个参数之外，IVE 还发现了第三个参数，该参数解释了潮汐剥离对亚晕外部轮廓的影响；该参数对子晕落入其母晕后所经历的质量损失敏感。与纯暗物质预期相比，IllustrisTNG 星系形成模型中的重子物理不会影响剖面中确定的自由度数，也不会影响它们的物理解释。我们新提出的轮廓拟合可用于强透镜分析或其他观测研究，旨在限制小尺度结构的宇宙学 ...
土地利用和土地覆盖 (LULC) 制图是地球观测 (EO) 的一项基本任务。然而，当前的 LULC 模型通常是针对特定模式和固定类别分类法开发的，限制了它们的可生成性和更广泛的适用性。基础模型（FM）的最新进展为构建通用模型提供了有希望的机会。然而，与任务无关的 FM 通常需要针对下游应用程序进行微调，而特定于任务的 FM 则依赖大量标记数据进行训练，这在遥感 (RS) 领域成本高昂且不切实际。为了应对这些挑战，我们提出了 LandSegmenter，这是一种 LULC FM 框架，可解决输入、模型和输出级别的三阶段挑战。从输入方面来看，为了缓解 FM 训练对标记数据的大量需求，我们引入了 LAnd Segment (LAS)，这是一个大规模、多模式、多源数据集，主要使用现有 LULC 产品中全局采样的弱标签构建。 LAS 提供了一种可扩展、经济高效的手动注释替代方案，支持跨不同 LULC 领域的大规模 FM 训练。对于模型架构，LandSegmenter 集成了用于跨模态特征提取的 RS 特定适配器和用于语义感知增强的文本编码器。在输出阶段，我们引入了按类置信引导的融合策略，以减少语义遗漏并进一步提高 LandSegmenter 的零样本性能。我们在六个精确注释的 LULC 数据集上评估 LandSegmenter，这些数据集涵盖不同的模式和类别分类法。广泛的迁移学习和零样本实验表明，LandSegmenter 实现了有竞争力或卓越的性能，特别是在零样本设置中，当传输到未见过的数据集时。这些结果凸显了我们提出的框架的有效性以及弱监督对于构建特定任务 FM 的效用 ...
广告平台在估算生命周期价值 (LTV) 方面不断发展，以更好地符合广告商的真实绩效指标。然而，现实世界的 LTV 数据的稀疏性对 LTV 预测模型（即 pLTV）提出了重大挑战，严重限制了其能力。因此，我们建议在广告平台内部数据的基础上，利用外部数据来扩大购买样本规模，增强广告平台的LTV预测模型。为了解决内部和外部平台之间的数据分布转移问题，我们引入了自适应差分连体网络（ADSNet），它采用跨域迁移学习来防止负迁移。具体来说，ADSNet 旨在学习对目标域有益的信息。我们引入了增益评估策略来计算信息增益，帮助模型学习目标域的有用信息，并提供拒绝噪声样本的能力，从而避免负迁移。此外，我们还设计了域适应模块作为连接不同域的桥梁，减少域之间的分布距离，增强表示空间分布的一致性。我们在真实的广告平台上进行了大量的线下实验和在线A/B测试。我们提出的 ADSNet 方法优于其他方法，将 GINI 提高了 2$\%$。消融研究强调了增益评估策略在负增益样本拒绝和提高模型性能方面的重要性。此外，ADSNet 显着改进了长尾预测。在线 A/B 测试证实了 ADSNet 的功效，将在线 LTV 提高了 3.47$\%$，GMV 提高了 3.89$\%$ ...
电子商务搜索系统中的查询服务相关性预测面临着严格的延迟要求，这阻碍了大型语言模型（LLM）的直接应用。为了弥补这一差距，我们提出了一个两阶段推理蒸馏框架，将推理能力从强大的 LLM 教师转移到轻量级、易于部署的学生模型。在第一阶段，我们通过构建适应领域的教师模型来解决通用 LLM 的局限性。这是通过三个步骤实现的：领域自适应预训练以注入平台知识，有监督微调以引发推理技能，以及使用多维奖励模型进行偏好优化以确保生成可靠且符合偏好的推理路径。然后，教师可以使用相关标签和推理链自动注释搜索日志中的大量查询服务对。在第二阶段，为了解决标准蒸馏中架构异构性的挑战，我们引入了对比推理自蒸馏（CRSD）。通过将同一学生模型在“标准”和“推理增强”输入下的行为建模为师生关系，CRSD 使轻量级模型能够内化教师的复杂决策机制，而无需推理时的显式推理路径。美团搜索广告系统的离线评估和在线A/B测试表明，我们的框架在多个指标上取得了显着改进，验证了其有效性和实用价值 ...
最近，开源视觉语言模型（VLM）在使其功能更接近专有前沿模型方面取得了可喜的进展。然而，大多数开源模型仅发布其最终模型权重，使得数据策略和实施的关键细节基本上不透明。在这项工作中，我们从以数据为中心的角度解决了 VLM 后训练问题，展示了数据策略在开发前沿 VLM 中的关键作用。通过从头开始研究和构建我们的训练后数据策略，我们分享对开发过程的详细见解，旨在有利于开源社区竞争模型的开发。我们引入的数据策略，加上训练方法和模型设计，形成了一系列名为 Eagle2 的高性能 VLM。具体来说，Eagle2-9B 在各种多模式基准测试中取得了最先进的结果，与高达 70B 参数的某些竞争模型相匹配 ...
基于学习的真实图像去雾方法已经取得了显着的进展，但仍然面临着不同真实雾霾场景的适应挑战。这些挑战主要源于对无标签数据缺乏有效的无监督机制以及全模型微调的高昂成本。为了应对这些挑战，我们提出了从雾到清晰的文本定向损失，利用 CLIP 的跨模态功能将真实图像去雾重新表述为潜在空间中的语义对齐问题，从而在缺乏参考图像的情况下提供明确的无监督跨模态指导。此外，我们引入了双层定位 LoRA (BiLaLoRA) 策略，该策略可以学习 LoRA 参数并自动搜索注入层，从而实现关键网络层的有针对性的适配。大量的实验证明了我们在多个现实世界的去雾基准上相对于最先进的方法的优越性。该代码可通过此 https URL 公开获取 ...
本综述对使用视觉语言模型 (VLM) 进行 3D 对象检测的综合调查进行了系统分析，这是 3D 视觉和多模态 AI 交叉领域中快速发展的领域。通过审查 100 多篇研究论文，我们首次提供了专门针对使用视觉语言模型进行 3D 对象检测的系统分析。我们首先概述使用视觉语言模型进行 3D 对象检测的独特挑战，强调与 2D 检测在空间推理和数据复杂性方面的差异。将使用点云和体素网格的传统方法与 CLIP 和 3D LLM 等现代视觉语言框架进行比较，后者支持开放词汇检测和零样本泛化。我们回顾了关键架构、预训练策略和提示工程方法，这些方法将文本和 3D 特征结合起来，以便通过视觉语言模型进行有效的 3D 对象检测。讨论可视化示例和评估基准来说明性能和行为。最后，我们强调了当前的挑战，例如有限的 3D 语言数据集和计算需求，并提出了未来的研究方向，以利用视觉语言模型推进 3D 对象检测。 >目标检测、视觉语言模型、代理、VLM、LLM、AI ...
我们通过指令研究检索问题，其中检索系统的用户明确地描述他们的意图以及他们的查询。我们的目标是开发一种使用多任务指令调整的通用任务感知检索系统，它可以遵循人类编写的指令来找到给定查询的最佳文档。我们引入了第一个包含约 40 个带有指令的检索数据集的大规模集合 BERRI，并提出了 TART，这是一个在带有指令的 BERRI 上训练的多任务检索系统。 TART 显示了通过指令适应新检索任务的强大能力，并在两个零样本检索基准（BEIR 和 LOTTE）上提升了最先进的水平，其性能比模型大三倍。我们进一步引入了一种新的评估设置 X^2-Retrieval，以更好地反映现实世界的场景，其中汇集了不同的领域和任务，并且系统需要找到符合用户意图的文档。在此设置中，TART 显着优于竞争基线，进一步证明了使用指令引导检索的有效性 ...