The Lottery Ticket Hypothesis for Self-attention in Convolutional Neural Network

最近，人们提出了许多即插即用的自注意力模块（SAM），通过利用深度卷积神经网络（CNN）的内部信息来增强模型泛化能力。一般来说，以前的工作忽略了在哪里插入 SAM，因为它们理所当然地将 SAM 与整个 CNN 主干的每个块单独连接，导致计算成本和参数数量随着网络深度的增长而增加。然而，我们凭经验发现并验证了一些违反直觉的现象：（a）将 SAM 连接到所有块可能并不总是带来最大的性能提升，连接到部分块会更好； (b) 将 SAM 添加到 CNN 可能并不总能带来性能提升，甚至可能会损害原始 CNN 主干的性能 ...

Fine-Tuning Large Vision-Language Models as Decision-Making Agents via Reinforcement Learning

根据专门的视觉指令跟踪数据进行微调的大型视觉语言模型（VLM）在各种场景中都表现出了令人印象深刻的语言推理能力。然而，这种微调范式可能无法在交互式环境中有效地学习多步骤目标导向任务中的最佳决策代理。为了应对这一挑战，我们提出了一种通过强化学习 (RL) 微调 VLM 的算法框架 ...

Generative De Novo Protein Design with Global Context

氨基酸的线性序列决定蛋白质的结构和功能。蛋白质设计，被称为蛋白质结构预测的逆过程，旨在获得一种新的蛋白质序列，该序列将折叠成定义​​的结构。最近的计算蛋白质设计工作研究了利用局部位置信息设计所需主链结构的序列，并取得了有竞争力的性能 ...

A Systematic Survey in Geometric Deep Learning for Structure-based Drug Design

基于结构的药物设计（SBDD）利用蛋白质的三维几何形状来识别潜在的候选药物。以物理化学建模为基础并以领域专业知识为基础的传统方法是资源密集型的。几何深度学习的最新发展，重点是 3D 几何数据的集成和处理，再加上 AlphaFold 等工具的准确蛋白质 3D 结构预测的可用性，极大地推进了基于结构的药物设计领域 ...

Convolutional Neural Networks for Sentence Classification

我们报告了一系列基于预训练词向量训练的卷积神经网络 (CNN) 的实验，用于句子级分类任务。我们证明，一个简单的 CNN 只需要很少的超参数调整和静态向量即可在多个基准测试中取得优异的结果。通过微调学习特定于任务的向量可以进一步提高性能 ...

PiFold: Toward effective and efficient protein inverse folding

我们如何有效且高效地设计折叠成所需结构的蛋白质序列？基于结构的蛋白质设计的人工智能方法近年来引起了越来越多的关注；然而，由于缺乏表达特征和自回归序列解码器，很少有方法能够同时提高准确性和效率。为了解决这些问题，我们提出了 PiFold，它包含一种新型残基特征化器和 PiGNN 层，可以一次性生成蛋白质序列，并提高恢复率。实验表明PiFold可以达到51 ...

Zero-Shot 3D Drug Design by Sketching and Generating

药物设计是药物发现周期中的关键步骤。最近，各种基于深度学习的方法通过从头开始生成新分子来设计药物，避免遍历大规模药物库。然而，它们依赖于稀缺的实验数据或耗时的对接模拟，导致训练数据有限和生成速度缓慢的过拟合问题 ...

SurfPro: Functional Protein Design Based on Continuous Surface

我们如何设计具有所需功能的蛋白质？我们受到化学直觉的激励，即几何结构和生化特性对于蛋白质的功能都至关重要。在本文中，我们提出了 SurfPro，这是一种在给定所需表面及其相关生化特性的情况下生成功能蛋白的新方法。 SurfPro 包括一个分层编码器和一个自回归解码器，分层编码器可逐步对蛋白质表面的几何形状和生化特征进行建模，自回归解码器可生成氨基酸序列 ...