大型语言模型(LLM)以其在语言理解和生成方面的良好水平而闻名,刺激了周围应用的充满活力的生态系统。但是,他们对各种服务的广泛同化引入了重大的安全风险。这项研究解构了对实际LLM集成应用的迅速注射攻击的复杂性和含义 ...
近年来,大型语言模型(LLMS)在生成类似人类的文本方面表现出色,事实证明是各种应用程序中的宝贵资产。但是,将这些模型调整为结合新的,室外知识仍然是一个挑战,尤其是对于模型知识截止日期之后发生的事实和事件。本文调查了监督微调(SFT)作为LLMS知识注入方法的有效性,特别关注最近体育事件的领域 ...
在旨在长期收益的任务中,计划变得至关重要。我们研究了从离线增强学习中重新利用数据集进行计划的生成模型。具体来说,我们确定没有逐步奖励的时间一致性是一个关键的技术挑战 ...
大型语言模型(LLM)中的医学推理旨在模仿临床医生的诊断思维,但是当前的基准测试(例如MEDQA-USMLE,MEDMCQA和PubMedQA)经常将推理与事实召回相结合。我们通过使用PubMedbert分类器将11个生物医学质量检查基准分离为推理和知识的子集来解决这一问题,该分类器达到81%的精度,可与人类绩效相当。我们的分析表明只有32 ...
在医学图像中经常表现出诸如低对比度和显着器官形状变化之类的特征。医学成像中分割性能的改善受现有注意机制的适应性不足的限制。在本文中提出了有效的通道事先卷积注意(CPCA)方法,支持通道和空间维度中注意力重量的动态分布 ...
大型语言模型(LLM)越来越多地部署在多转交谈应用中,其中密钥值(KV)缓存的管理呈现出重要的瓶颈。与对话历史相关的KV缓存的线性增长构成了实质性的计算成本,现有的驱逐策略通常会通过反复压缩早期对话环境来降低性能,从而导致信息丢失和环境遗忘。本文介绍了KV高速缓存管理的Novel \ TextBf {多转移隔离机制}的小说\ TextBf {多转移隔离机制},可以将其应用于没有训练的任何KV缓存压 ...
开发可以在不同环境中表现出色的同时表现出多种行为的机器人代理是AI和机器人技术的关键挑战。传统的增强学习(RL)方法通常会创建专门从事狭窄任务的代理,从而限制其适应性和多样性。为了克服这一点,我们提出了一个初步的,进化为灵感的框架,其中包括一个繁殖模块,类似于自然物种繁殖,平衡多样性和专业化 ...
Transformer 的注意机制具有二次复杂性,导致长序列的高推理成本和潜伏期。但是,注意矩阵大多是稀疏的,这意味着可以从计算中省略许多条目以有效地推断。稀疏关注推断方法旨在减轻这种计算负担;但是,他们还带来了麻烦的性能降级 ...