LongBench: A Bilingual, Multitask Benchmark for Long Context Understanding

尽管大型语言模型 (LLM) 在许多语言任务中表现出令人印象深刻的性能，但它们中的大多数只能处理几千个标记长的文本，限制了它们在较长序列输入（例如书籍、报告和代码库）上的应用。最近的工作提出了通过扩展上下文窗口和更复杂的记忆机制来提高 LLM 的长上下文能力的方法。然而，缺乏为评估长期上下文理解而定制的综合基准 ...

Heterogeneous Graph Neural Networks for Malicious Account Detection

我们推出了 GEM，这是第一个异构图神经网络方法，用于检测支付宝（全球领先的移动无现金支付平台之一）的恶意帐户。我们的方法受到连接子图方法的启发，根据攻击者的两个基本弱点，从异构帐户设备图中自适应地学习判别性嵌入，即 ...

A Human-Inspired Reading Agent with Gist Memory of Very Long Contexts

当前的大型语言模型（LLM）不仅限于某些最大上下文长度，而且无法稳健地消耗长输入。为了解决这些限制，我们提出了 ReadAgent，这是一种 LLM 代理系统，在我们的实验中将有效上下文长度增加了 20 倍。受人类交互阅读长文档方式的启发，我们将 ReadAgent 实现为一个简单的提示系统，该系统使用 LLM 的高级语言功能来 (1) 决定在记忆片段中一起存储哪些内容，(2) 将这些记忆片段压缩为短片段（3）如果 ReadAgent 需要提醒自己相关细节来完成任务，则采取行动查找原文中的段落 ...

Prompt Cache: Modular Attention Reuse for Low-Latency Inference

我们提出了 Prompt Cache，这是一种通过跨不同 LLM 提示重用注意力状态来加速大型语言模型 (LLM) 推理的方法。许多输入提示具有重叠的文本段，例如系统消息、提示模板和为上下文提供的文档。我们的主要见解是，通过在推理服务器上预先计算和存储这些频繁出现的文本片段的注意力状态，当这些片段出现在用户提示中时，我们可以有效地重用它们 ...