GNN 和化学指纹是代表分子进行属性预测的主要方法。然而，在 NLP 中，由于其强大的下游任务迁移能力，Transformer 已成为表示学习事实上的标准。与此同时，围绕 Transformer 的软件生态系统正在迅速成熟，HuggingFace 和 BertViz 等库可以简化培训和内省 ...
GPT-3 等大型预训练模型利用自我监督学习来学习显着表示，从而可轻松地对各种下游任务进行微调，从而对现代自然语言处理产生了巨大影响。我们通过使用 SMILES 语言构建化学基础模型 ChemBERTa-2，研究了将这些进步转移到分子机器学习的可能性。虽然分子预测任务的标记数据通常很少，但 SMILES 字符串库很容易获得 ...
预训练语言模型 (LM) 展示了处理分子文本的重要能力，同时，消息传递神经网络 (MPNN) 展示了分子科学领域的弹性和多功能性。尽管取得了这些进展，我们发现调查分子结构及其相应文本表示之间的双向相互作用的研究仍然有限。因此，在本文中，我们提出了两种策略来评估信息集成是否可以提高性能：对比学习（涉及利用 MPNN 来监督 LM 的训练）和融合（利用来自两个模型的信息） ...
大型语言模型 (LLM) 在各个领域都表现出色，但在复杂的科学推理方面却遇到了困难，尤其是在化学领域。与简单的化学任务不同（例如 ...
用于开发医学应用的语言技术研究是当前自然语言理解和生成的热门话题。因此，许多大型语言模型（LLM）最近已适应医学领域，因此它们可以用作人类与人工智能交互的中介工具。虽然这些 LLM 在自动化医学文本基准上表现出有竞争力的表现，但他们已经过预培训和评估，重点关注单一语言（主要是英语） ...
我们推出了流程工程操作助手 (PEOA)，这是一个人工智能驱动的框架，旨在解决化学和流程工业中的复杂问题。该框架采用由元代理精心编排的模块化架构，元代理充当中央协调器，管理动作生成器和指令调整的小型语言模型（专家模型）。动作生成器将复杂的问题分解为子任务，并确定合适的专家模型来执行每个子任务，为多步骤问题解决提供精确的解决方案 ...
像 ChatGPT 这样的大规模语言模型 (LLM) 在根据人类指令生成响应方面表现出了令人印象深刻的能力。然而，由于缺乏具体、深入的知识，它们在医学领域的使用可能具有挑战性。在这项研究中，我们提出了一个名为 LLM 增强医学教科书（LLM-AMT）的系统，旨在提高 LLM 在专业领域的熟练程度 ...
幻觉是大型语言模型 (LLM) 生成的文本中的一种众所周知的现象。几乎所有的应用场景都存在幻觉反应的存在，例如： ...
大型语言模型（LLM）在开放领域任务中得到了普及并取得了显着的效果，但由于缺乏特定领域知识，其在实际工业特定领域场景中的表现一般。这个问题引起了广泛的关注，但相关的基准却很少。在本文中，我们提供了一个名为 MSQA 的基准问答 (QA) 数据集，围绕 Microsoft 产品和客户遇到的 IT 技术问题 ...
医学视觉问答~（VQA）是医学人工智能和流行的 VQA 挑战的结合。给定医学图像和自然语言的临床相关问题，医学 VQA 系统有望预测出合理且令人信服的答案。尽管通用领域的VQA已经得到了广泛的研究，但医学VQA由于其任务特点仍然需要具体的研究和探索 ...