尽管取得了重大进步,但大型语言模型(LLM)的实际部署通常会因其巨大尺寸而受到阻碍,这突出了需要有效的压缩技术。单数值分解(SVD)是一种有希望的LLM压缩技术。但是,现有的基于SVD的压缩方法在减少截短损失方面缺乏,导致压缩模型中竞争性的性能较低 ...
激活稀疏性是指激活输出中存在相当多的贡献元素。作为使用ReLU激活函数的模型的通用属性,激活稀疏性已被证明是提高模型推理效率的有前景的范例。然而,大多数大型语言模型(LLM)采用没有内部激活稀疏性的激活函数(例如... ...
寻求饮食指导通常需要在适应个人健康状况的同时浏览复杂的专业知识。知识图(KGS)提供结构化且可解释的营养信息,而大型语言模型(LLMS)自然促进了会话建议交付。在本文中,我们提出了HealthGenie,这是一种交互式系统,结合了LLM和KG的优势,以提供个性化的饮食建议以及层次信息可视化,以快速而直观的概述 ...
比例综合衍生(PID)控制的基础超过$ 97 \%$ $的自动化工业流程。相对于某些指定的性能目标有效地控制这些过程,需要找到一组最佳的PID参数来调节PID循环。调整这些参数是一个漫长而详尽的过程 ...
最近,提出了一项单域通用对象检测(单dgod)的任务,旨在将检测器推广到训练期间从未见过的多个未知域。由于目标域数据不可用,一些方法利用文本提示来利用视觉模型的多模式功能来估计跨域信息,从而增强了模型的概括能力。这些方法通常使用单个文本提示,通常称为单步提示方法 ...
持续学习(CL)会逐步学习一系列任务。有两个流行的CL设置:类增量学习(CIL)和任务增量学习(TIL)。 CL的主要挑战是灾难性遗忘(CF) ...
迭代偏好优化方法最近被证明对于一般指令调整任务表现良好,但通常对推理任务几乎没有改进(元,2024年,陈(2024)... ...
网络安全领域正在迅速发展。需要了解过去,当前和 - 在最好的情况下 - 即将到来的威胁,因为攻击变得越来越高,目标更大,系统更加复杂。由于无法手动解决此问题,因此网络安全专家需要依靠机器学习技术 ...