大型语言模型(LLM)推论,其中一个受过训练的模型一次以用户提示为响应用户提示生成文本一个单词,这是一个计算密集的过程,需要有效的调度来优化延迟和资源利用率。 LLM推断中的一个关键挑战是密钥值(KV)缓存的管理,该缓存减少了冗余计算,但引入了内存约束。在这项工作中,我们从理论上对LLM推断进行了对KV缓存约束的建模,并提出了新颖的批处理和调度算法,以最大程度地减少推理潜伏期,同时有效地管理KV  ...
0 0 0 2025/05/11 arXiv:2502.07115v3 lizijian9630
我们提出了一种用于单图超分辨率(SR)的深度学习方法。我们的方法直接学习低/高分辨率图像之间的端到端映射。映射表示为深卷卷神经网络(CNN),该网络将低分辨率图像作为输入并输出高分辨率 ...
0 0 0 2025/05/11 arXiv:1501.00092v3 nmksjx
检索增强生成通过提供事实支持彻底改变了大语言模型 (LLM) 的输出。然而,它很难获取复杂推理问题的所有必要知识。现有的检索方法通常将参考文档划分为多个段落,并单独处理它们 ...
0 0 0 2025/05/11 arXiv:2406.06572v2 moshmode
长篇文本多模式大型语言模型(MLLM)需要大量的计算资源来推断其多模式键值(KV)缓存的增长,以响应增加输入长度,挑战内存和时间效率。与仅管理文本上下文的单模式LLM不同,长篇小说MLLM的KV缓存包括来自具有时间和空间关系以及相关文本上下文的多个图像的表示。图像 Token 的优势意味着对LLMS的KV缓存的传统优化不适合多模式的长篇小写设置,并且没有以前的工作解决了这一挑战 ...
0 0 0 2025/05/11 arXiv:2406.18139v1 lizijian9630
由于3D几何信息,尤其是在复杂的条件下(例如,弱光且暴露过度暴露),场景理解的最新进展从深度图受益匪浅 ...
0 0 0 2025/05/11 arXiv:2504.04701v1 澹台心木
如今,社交媒体网络对我们的生活越来越重要,研究社交媒体网络的必要性变得越来越重要。由于跨平台数十亿用户和不断更新,建模社交网络的复杂性是巨大的。基于代理的建模(ABM)被广泛用于研究社交网络社区,使我们能够定义个人行为并模拟系统级进化 ...
0 0 0 2025/05/11 arXiv:2504.21609v1 七仔の肥鸽子
尽管在静态蛋白质结构收集和预测方面取得了重大进展,但蛋白质的动态行为(它们最重要的特征之一)在先前的研究中已被很大程度上忽略了。该监督可以归因于动态蛋白质数据集的有限可用性,多样性和异质性。为了解决这一差距,我们建议通过整合动态数据和其他物理属性来增强现有著名的静态3D蛋白质结构数据库,例如蛋白质数据库(PDB) ...
0 0 0 2025/05/11 arXiv:2408.12413v3 lulus
目标条件(GC)政策学习通常会面临奖励的稀疏性,而在面对长马目标时,面临挑战。为了应对挑战,我们在离线设置中探索了基于技能的GC政策学习,其中从现有数据中获取技能,而长期目标的目标则分解为与这些技能保持一致的近期目标的序列。具体而言,我们介绍了针对应对受目标分配转移影响的长途GC任务而定制的“通过技能步骤抽象”框架(GLVSA)的“离线GC政策学习”(GLVSA) ...
0 0 0 2025/05/11 arXiv:2408.11300v1 kavin

来一起翻译吧!


为了您和其他读者获得更好的阅读体验,请您勇敢地改进翻译,特别是一些显而易见的机器翻译错误。


虽然我们追求卓越,但我们并不要求翻译十全十美,因此请不要担心您翻译有误 —— 我们的服务器已经记录所有的翻译,您不必担心会因为您的失误导致无法挽回的破坏。(改编自维基百科)