Graph Self-Supervised Learning: A Survey

图的深度学习最近引起了人们的极大兴趣。然而，大多数工作都集中在（半）监督学习上，导致标签依赖重、泛化性差、鲁棒性弱等缺点。为了解决这些问题，自我监督学习（SSL）通过精心设计的借口任务提取信息知识，而不依赖于手动标签，已成为图数据的一种有前景和趋势的学习范式 ...

Think-on-Graph: Deep and Responsible Reasoning of Large Language Model on Knowledge Graph

尽管大型语言模型（LLM）在各种任务中取得了显着的成功，但它们经常与幻觉问题作斗争，特别是在需要深度和负责任的推理的场景中。这些问题可以通过在 LLM 推理中引入外部知识图（KG）来部分解决。在本文中，我们提出了一种新的LLM-KG集成范式“$\hbox{LLM}\otimes\hbox{KG}$”，它将LLM视为一个代理，以交互方式探索KG上的相关实体和关系并执行推理基于检索到的知识 ...

LOT: A Story-Centric Benchmark for Evaluating Chinese Long Text Understanding and Generation

标准的多任务基准对于开发可以推广到各种下游任务的预训练模型至关重要。现有的自然语言处理（NLP）基准通常只关注理解或生成短文本。然而，长文本建模需要许多与短文本不同的能力，例如长距离话语和常识关系的建模，以及生成的连贯性和可控性 ...

MultiRocket: Multiple pooling operators and transformations for fast and effective time series classification

我们提出了 MultiRocket，这是一种快速时间序列分类 (TSC) 算法，可以用极少的时间实现最先进的性能，并且不需要许多最先进方法的复杂集成结构。 MultiRocket 在 MiniRocket 的基础上进行了改进，MiniRocket 是迄今为止最快的 TSC 算法之一，通过添加多个池化运算符和转换来提高生成特征的多样性。除了处理原始输入序列之外，MultiRocket 还应用一阶差分来转换原始序列 ...

ROCKET: Exceptionally fast and accurate time series classification using random convolutional kernels

大多数达到最先进精度的时间序列分类方法都具有很高的计算复杂性，即使对于较小的数据集也需要大量的训练时间，并且对于较大的数据集来说也很棘手。此外，许多现有方法专注于单一类型的特征，例如形状或频率。基于最近用于时间序列分类的卷积神经网络的成功，我们表明使用随机卷积核的简单线性分类器可以实现最先进的精度，而计算费用仅为现有方法的一小部分 ...

RULER: What's the Real Context Size of Your Long-Context Language Models?

大海捞针（NIAH）测试检查从长干扰文本（“大海捞针”）中检索一条信息（“针”）的能力，已被广泛用于评估长上下文语言模型（LM）。然而，这种简单的基于检索的测试仅表明长上下文理解的表面形式。为了对长上下文 LM 提供更全面的评估，我们创建了一个新的综合基准标尺，该标尺具有灵活的配置，可定制序列长度和任务复杂性 ...

A Closer Look at AUROC and AUPRC under Class Imbalance

在机器学习 (ML) 中，有一句广为流传的格言是，对于具有类别不平衡的二元分类任务，精确回忆曲线下面积 (AUPRC) 是模型比较的一个优越指标，优于接收者操作特征下面积 (AUROC)。本文通过新颖的数学分析挑战了这一概念，说明 AUROC 和 AUPRC 可以用概率术语简洁地关联起来。我们证明，与普遍看法相反，AUPRC 在类别不平衡的情况下并不优越，甚至可能是一个有害的指标，因为它倾向于过度支持在具有更频繁的积极标签的亚群中进行模型改进 ...

RecurrentGPT: Interactive Generation of (Arbitrarily) Long Text

Transformer 的固定大小上下文使得 GPT 模型无法生成任意长的文本。在本文中，我们介绍了 RecurrentGPT，这是一种基于语言的 RNN 递归机制模拟。 RecurrentGPT 建立在 ChatGPT 等大型语言模型 (LLM) 的基础上，并使用自然语言来模拟 LSTM 中的长短期记忆机制 ...

Recursively Summarizing Books with Human Feedback

扩展机器学习的一个主要挑战是训练模型来执行人类评估非常困难或耗时的任务。我们在整个小说的抽象概括任务中提出了这个问题的进展。我们的方法将人类反馈的学习与递归任务分解相结合：我们使用在任务的较小部分上训练的模型来帮助人类就更广泛的任务提供反馈 ...

Walking Down the Memory Maze: Beyond Context Limit through Interactive Reading

由于同时处理和比较所有标记的自注意力机制的有效性，大型语言模型（LLM）取得了长足的进步。然而，这种机制有一个根本性的问题——预定的上下文窗口必然是有限的。尽管尝试通过推断位置嵌入、使用递归或选择性检索长序列的基本部分等方法来扩展上下文窗口，但长文本理解仍然是一个挑战 ...