稀疏激活的专家(MOE)模型在增强大语言模型(LLMS)的学习能力方面表现出了希望。利用专家之间的内在重要性差异,最近的研究探索了专家级压缩技术,以提高MOE LLM的效率。但是,现有方法通常依靠经验标准来确定批判专家,缺乏对专家的异质重要性的更深入的探索和理解 ...
大型语言模型(LLMS)在处理长篇小说是由于主动干扰而遭受了重大的性能降解,在上下文的早期部分中无关的信息会破坏推理和记忆回忆。尽管大多数研究都集中在外部记忆系统上增强LLMS的功能,但我们提出了一种互补方法:使用主动上下文管理(ACM)工具赋予LLMS能力,以积极雕刻其内部工作记忆。我们介绍了雕塑家,该框架将LLMS配备三类工具:(1)上下文碎片,(2)摘要,hide和reterore,以及(3)智能搜索 ...
我们介绍了SPFSPLAT,这是从稀疏的多视图图像中进行3D高斯分裂的有效框架,在训练或推理过程中不需要地面真相。它采用共享的特征提取主链,从而可以同时预测3D高斯原语和相机姿势,并在单个馈送步骤中的未予以输入中从规范空间中进行。除了基于估计的小说视图姿势的渲染损失外,还集成了重新投入损失,以实施学习与像素分配的高斯原语的学习,以增强几何约束 ...
由于复杂的时空动力学,尤其是在存在遮挡,相似的干扰因素和外观变化的情况下,通用对象跟踪仍然是计算机视觉中的重要但具有挑战性的任务。在过去的二十年中,已经引入了各种各样的跟踪范式,包括基于暹罗的跟踪器,歧视性跟踪器以及最近的基于著名的 Transformer 方法,以应对这些挑战。尽管该领域的一些现有调查论文集中在单个类别上,要么广泛涵盖了多个类别以捕获进度,但我们的论文对这三个类别进行了全面的评论,特别强调了迅速发展的基于 Transformer 的方法 ...
现有的最新功能匹配器捕获了具有 Transformer 的长距离依赖性,但受到高空间复杂性的阻碍,导致训练和较高的推断。在功能和效率之间取得更好的平衡仍然是功能匹配的挑战。受Mamba线性复杂性O(n)的启发,我们提出了一个名为Jamma的超轻量级MAMBA的匹配器,该匹配项在单个GPU上收敛,并在推理中实现了令人印象深刻的性能效率平衡 ...
细致的 3D 环境表示一直是计算机视觉和机器人领域的长期目标。最近出现的神经隐式表示为该领域带来了根本性的创新,因为隐式表示可以实现多种功能。其中,神经辐射场(NeRF)因其简化的数学模型、紧凑的环境存储和连续的场景表示等巨大的表示优势而引发了一股趋势 ...
推理时间计算技术(类似于人类系统2思维)最近在改善模型性能方面变得流行。但是,大多数现有的方法都有几个局限性:它们是特定于方式的(例如, ...
人工智能(AI)的最新进展,特别是在大型语言模型(例如OpenAI-O1和DeepSeek-R1)中,在复杂领域(例如逻辑推理和实验编码)中表现出了显着的功能。在这些进步的推动下,许多研究探讨了AI在创新过程中的应用,特别是在科学研究的背景下。这些AI技术主要旨在开发可以自主在广泛的科学学科进行研究过程的系统 ...
我们提出了SIM3D,这是第一个基准,即考虑到全面的3D异常检测和分割(ADS)的多模式和多模式信息的集成,其中任务是产生基于Voxel的异常体积。此外,SIM3D重点介绍了对制造业浓厚兴趣的方案:单稳定异常检测,其中只有一个物体可用于培训。在这方面,SIM3D是第一个针对从合成训练数据到实际测试数据的概括的挑战的ADS基准 ...
时间序列预测(TSF)长期以来一直是行业和日常生活的至关重要的任务。大多数经典的统计模型应用于能源,医疗保健,交通,气象学和经济学等领域的实际场景时,可能会有一定的局限性,尤其是在需要高精度的情况下。随着深度学习的持续发展,近年来的时间序列领域中出现了许多新模型 ...