将本地AI模型(例如大语言模型(LLM))部署到Edge设备上可以大大增强设备的独立功能,减轻服务器的负担并降低响应时间。由于这些巨大的潜力,许多大型科技公司已经发布了几种轻巧的小语言模型(SLM),以弥合这一差距。但是,我们仍然有巨大的动机来在边缘设备上部署更强大的AI模型并提高其智能水平 ...
FLAT-LLM: Fine-grained Low-rank Activation Space Transformation for Large Language Model Compression
大型语言模型(LLMS)在自然语言处理方面取得了显着进步,但是它们的高计算和记忆要求在资源受限环境中部署构成挑战。尽管最近的低排放分解方法为结构压缩提供了有希望的途径,但它们通常会遭受准确性降解,昂贵的校准程序的困扰,并导致效率低下的模型体系结构,从而阻碍了现实世界中的推断速度。在本文中,我们提出了基于激活空间中细粒度的低级转换的快速准确,无训练的结构压缩方法 ...
我们提出了一个基于生成的对抗网络(GAN)的室内冲动响应生成器(IR-GAN),用于生成逼真的合成房间脉冲响应(RIRS)。 IR-GAN从捕获的现实世界中提取声学参数,并使用这些参数生成新的合成RIR。我们使用这些生成的合成RIR来改善与培训数据集不同环境中的远场自动语音识别 ...
在计算机视觉和图形中,从用户输入中生成现实的3D室内场景仍然是一个具有挑战性的问题,需要仔细平衡几何一致性,空间关系和视觉现实主义。尽管由于全球空间推理有限,神经产生方法通常会产生重复的元素,但程序方法可以利用可控生成的约束,但要在多构造场景中挣扎。当限制变为众多时,经常发生对象碰撞,迫使拆除家具物品并损害布局完整性 ...
扩散模型在从文本描述中生成高质量的图像方面取得了显着的进步。诸如LayerDiffuse之类的最新作品已将以前的单层图像生成范式扩展到透明的图像层生成。但是,现有的多层生成方法无法处理多个层之间的相互作用,例如理性的全球布局,物理学知识触点以及视觉效果,例如阴影和反射,同时保持高α质量 ...
大规模扩散模型在从文本描述中产生高质量的图像方面取得了巨大的成功,在各种应用程序中都广受欢迎。但是,分层内容的产生,例如带有前景和背景层的透明图像,仍然是一个不足的区域。分层的内容生成对于图形设计,动画和数字艺术等领域的创意工作流程至关重要,在这些领域中,基于层的方法对于灵活的编辑和组成至关重要 ...
从人类行为中推断出奖励功能是价值一致性的中心 - 将AI目标与我们的人类真正想要的目标保持一致。但是这样做依赖于人类对目标的行为方式的模型。经过数十年的认知科学,神经科学和行为经济学的研究,获得了准确的人类模型仍然是一个开放的研究主题 ...
天气预报是预期和减轻气候变化影响的基本问题。最近,基于深度学习的天气预报的数据驱动方法表现出了巨大的希望,实现了与操作系统竞争的准确性。但是,这些方法通常在没有足够消融分析的情况下采用复杂的,定制的体系结构,因此很难理解真正有助于其成功的原因 ...