大型语言模型（LLM）在情境知识理解中取得了巨大的成功。在本文中，我们表明，这些集中的巨大值在注意查询（Q）和键（k）的特定区域始终出现，而在各种现代 Transformer LLMS中的值（v）中没有此类模式（Q，K和V分别表示由查询，钥匙和值层输出的表示表示表示）。通过广泛的实验，我们进一步证明，这些巨大的值在解释上下文知识（从当前上下文窗口获得的知识获得）中起着关键作用，而不是检索存储在模型 ...

Graph检索效果生成（GraphRag）已被证明在提高需要外部知识的任务的大型语言模型（LLM）的性能方面非常有效。通过利用知识图（KGS），GraphRag改善了复杂推理任务的信息检索，提供了更精确和全面的检索，并对QAS产生了更准确的响应。但是，大多数抹布方法在解决多个步骤推理方面缺乏，尤其是在需要信息提取和推理时 ...

本文介绍了Slos-Serve，该系统旨在使用应用程序和特定于阶段的服务级别目标（SLOS）提供多阶段大型语言模型（LLM）请求。 Slos-serve背后的关键思想是自定义 Token 分配以满足这些SLO要求。 SLOS-SEVER使用基于多种动态编程的算法，通过探索块状预填充和（可选）投机解码的完整设计空间，在SLO约束下连续优化 Token 分配 ...

传统的在线工业广告系统遭受了多级级联体系结构的局限性，这些架构通常会过早地丢弃高潜力的候选人，并在断开的模块中分发决策逻辑。尽管最近的生成推荐方法提供了端到端的解决方案，但它们无法解决现实部署的关键组件的关键广告要求，例如显式竞标，创意选择，AD分配和付款计算。为了弥合这一差距，我们介绍了端到端生成广告（EGA），这是对用户兴趣，利益点（POI）和创意生成，AD分配和付款优化的第一个统一框架 .. ...

从交互式聊天机器人和云AIOP到智能代理的大型语言模型（LLM）集成到不同的应用程序中，已引入了广泛的服务水平目标（SLOS）以寻求响应能力。这些工作负载包括延迟敏感的请求，重点是流式聊天中的延迟延迟，吞吐量密集的请求，这些请求需要快速对调用工具进行快速响应以及具有由自我反射或基于代理的推理产生的动态依赖性的集体请求。这种工作负载多样性被不可预测的请求信息（例如响应长度和运行时依赖性）放大，即使在 ...

当对齐大语言模型（LLMS）时，安全，保障和合规性是必不可少的要求。但是，许多看似结盟的LLM很快被证明容易受到越狱攻击的影响。这些攻击旨在通过将越狱提示引入恶意查询来规避模型的安全护栏和安全机制 ...

大型视觉语言模型 (LVLM) 在各种多模式任务中表现出了出色的性能。然而，它们遇到了一个称为语言先验的问题，即仅根据文本模式生成响应，而忽略图像信息。优先解决语言问题至关重要，因为在处理超出训练分布的图像时，它可能会导致不良的偏见或幻觉 ...