超分辨率重建(SRR)是一个过程,旨在根据低分辨率和高分辨率之间的学习关系,或从呈现同一场景的多个图像中,从单个观察结果来增强图像的空间分辨率。 SRR特别有价值,如果以所需的分辨率获取图像是不可行的,但是同一场景的许多图像在较低的分辨率下可用 - 这是各种遥感方案所固有的。最近,我们目睹了归因于使用深神经网络来学习低分辨率和高分辨率之间的关系的单位SRR的实质性改善 ...
基于 Transformer 的模型在时间序列研究中越来越关注,推动了对大语模型(LLM)的兴趣以及时间序列分析的基础模型。随着场地向多模式发展,大型视觉模型(LVM)正在成为一个有希望的方向。过去, Transformer 和LLM在时间序列中的有效性一直在辩论 ...
在大语言模型(LLM)中广泛观察到离群值,从而显着影响模型性能,并为模型压缩带来挑战。了解这些异常值的功能和形成机制至关重要。但是,现有的作品在很大程度上集中于从算法的角度降低异常值的影响,而缺乏对其原因和角色的深入调查 ...
本文介绍了一种简单而有效的查询扩展方法,称为QUERY2DOC,llm)生成伪文档,llm接受过网络规模文本语料库的培训,擅长知识记忆... ...
准确理解用户的上下文搜索意图一直是会话式搜索的一个重要挑战。由于会话搜索会话更加多样化和长尾,在有限数据上训练的现有方法在处理真实会话搜索场景时仍然表现出不令人满意的有效性和鲁棒性。最近,llm)在文本生成和对话理解方面表现出了惊人的能力... ...
本文介绍了细节流,这是一种粗到1D自回归(AR)图像生成方法,该方法通过新颖的隔壁预测策略来对图像进行建模。通过学习通过逐渐退化的图像监督的分辨率感知 Token 序列,细节流使生成过程从全局结构开始并逐步完善细节。这种粗到1D Token 的序列与自回旋推理机制很好地对齐,为AR模型生成复杂的视觉内容提供了一种更自然和有效的方式 ...
文本生成是自然语言处理的引人注目的子场,旨在从输入单词中生成可读的文本。特别是,仅解码器生成模型,例如生成预训练的 Transformer (GPT),广泛用于文本生成,具有两个主要的计算阶段:汇总和生成。与可以并行处理输入 Token 的汇总阶段不同,由于其顺序生成输出 Token ,生成阶段很难加速 ...
LLMS中有效的KV高速缓存管理对于诸如抹布和摘要之类的长篇小说任务至关重要。现有的KV缓存压缩方法强制执行固定模式,忽略了特定于任务的特征并减少了基本信息的保留。但是,我们在各种任务中观察到跨层之间的不同激活模式,突出了对每个任务独特需求量身定制的自适应策略的需求 ...