我们通过SVD提供了一种新的LLM压缩解决方案，从而为LLM压缩提供了新的可能性，超出了量化和修剪。我们指出，SVD的最佳使用在于截断激活，而不仅仅是将激活作为优化距离。基于此原则，我们解决了基于SVD的LLM压缩中的三个关键挑战：包括（1）如何确定LLMS中每个重量矩阵的最佳激活截断位置？ （2）我们如何根据截短的激活有效地重建权重矩阵？ （3）我们如何解决导致SVD信息丢失的固有的“注入”性质？我们提出了DOBI-SVD，该DOBI-SVD建立了一种基于SVD的LLM压缩的新的原则方法 ...
生成AI（GAI）的快速发展引发了教育各个方面的革命性变化。个性化的学习，是教育研究中的焦点和挑战，也受到GAI发展的影响。为了探索GAI对个性化学习的广泛影响，本研究通过对现有研究的详尽分析来研究其增强个性化学习各个方面的潜力 ...
向用户解释神经模型预测需要创造力。特别是在企业应用程序中，与用户的时间相关的成本以及他们对模型预测的信任对于采用至关重要。对于主数据管理中的链接预测，我们从研究，事实验证，路径排名，神经符号推理和自我解释的AI中构建了许多解释性解决方案 ...
将大语模型（LLM）的权重量化从16位到较低的位宽是事实上，将大量 Transformer 部署到更实惠的加速器上。 GPTQ成为以LLM量表进行一次训练后培训量化的标准方法之一。然而，它的内部工作被描述为一系列临时代数更新，这些更新掩盖了任何几何含义或最差的保证 ...
当大型语言模型表现出偏离响应生成期间知识边界的行为时，就会发生幻觉。为了解决这个关键问题，以前的基于学习的方法试图对模型进行捕获，但受到非政策采样和粗粒反馈的限制。在本文中，我们介绍\ textIt {\ b {r} einforception \ b {l} garting \ b {f}或\ b {h} allucination}（rlfh）（rlfh），一种实用的自我调整方法，是一种实现LLMS的自我调整方法，使其能够通过详细的范围探索他们的知识和自我自我范围的生成效率，并通过详细介绍了详细的效率 ...
部署大型语言模型（LLM）由于其大量参数和高计算成本而具有挑战性。超低位量化可以显着降低存储和加速推理，但极端压缩（即 ...
从人类反馈（RLHF）中学习的强化已成为将大型语言模型（LLM）与人类偏好保持一致的强大技术。但是，有效地使LLM与多样化的人类偏好保持一致仍然是一个重大挑战，尤其是在冲突时。为了解决这个问题，我们将人类价值对准作为一个多目标优化问题，旨在最大化一组潜在的冲突目标 ...
大型语言模型（LLM）的最新进展激发了人们对扩大建议系统的兴趣，但仍然存在两个实际障碍。首先，对工业推荐人的培训和服务成本必须尊重严格的延迟范围和较高的QPS需求。其次，排名模型中的大多数人设计的特征跨模块是从CPU时代继承的，无法利用现代GPU，导致模型差较低的利用率（MFU）和较差的可扩展性 ...
大型语言模型（LLM）的发展引起了人们对潜在滥用的关注。一种实用的解决方案是在文本中嵌入水印，从而通过水印提取允许所有权验证。现有方法主要集中于防御修改攻击，通常忽略其他欺骗攻击 ...
假设暗物质是不对称的，并且是自我互动和中微子是迪拉克·费米子（Dirac Fermions），我们提出了一个框架来解决观察到的宇宙的巴里昂失衡。我们添加了三个右撇子中微子$ \ nu_ {r_i}，\，\，{i = 1,2,3} $，一个单身费费$ \ chi $，doublet fermion $ \ psi $ \ psi $，和heavy scalar doublets $ \ eta_i，\ eta_i，\，\，\，\，\，{i = 1,2 $ to Standard Models。 $ \ chi $和$ \ psi $都是在扩展的$ u（1）_ {b-l} \ times u（1）_d $ symmetry下的非零收费的费米子 ...