培训后量化（PTQ）已成为一种广泛采用的技术，用于压缩和加速大型语言模型（LLMS）。 LLM量化中的主要挑战是，不平衡和重尾数据分布可以扩展量化范围，从而降低了大多数值的位精度。最近的方法试图通过使用线性变换来消除离群值并平衡渠道间差异。但是，它们仍然是启发式的，并且经常被忽略优化整个量化的数据分布本文本文，我们引入了量化空间利用率（QSUR），这是一种新型指标，可以通过测量量化空间中数据的空间 ...

我们介绍了能够理解和产生的统一的多模式大语模型（MLLM）Unigen。我们从以数据为中心的角度研究了Unigen的完整培训管道，包括多阶段预训练，受监督的微调和直接偏好优化。更重要的是，我们为测试时间扩展提出了一种新的经过思考验证（COT-V）策略，它使用简单的N测试时间策略可以显着提高Unigen的图像生成质量 ...

随着网络信息爆炸，搜索和推荐成为满足用户信息需求的基础设施。作为同一枚硬币的两面，两者都围绕相同的核心研究问题，将查询与文档或用户与项目相匹配。近几十年来，搜索和推荐经历了同步的技术范式转变，包括基于机器学习和基于深度学习的范式... ...

大型语言模型（LLM）以惊人的速度前进，并且在学术界，行业和日常应用中变得必不可少。为了与现状保持同步，这项调查探讨了LLMS构成的评估所带来的核心挑战。我们识别和分析了两个关键转变：（i）从特定于任务到基于功能的评估，该评估重组了围绕核心竞争力的基准测试，例如知识，推理，指导，以下，多模式理解和安全； （ii）从手动到自动化评估，包括动态数据集策划和“ LLM-AS-A-A-a-Gudge”评分 ...

大型多模型模型（LMM）已成为能够理解各种数据模式的强大模型，包括文本，图像和视频。 LMMS将文本和视觉数据同时编码为 Token ，然后由集成的大语言模型（LLM）组合和处理。包括视觉 Token （包括视觉 Token ）大大增加了总数，通常增加数千个 ...

基于项目的协作过滤（ICF的缩写）在行业的推荐系统中已被广泛采用，这是因为其在用户兴趣建模和在线个性化方面的实力。通过使用用户消费的项目构建用户的配置文件，ICF建议与用户配置文件相似的项目。近年来，随着机器学习的普遍性，通过从数据中学习项目相似性（或表示），为ICF做出了重大的过程 ...

在大型多模型模型（LMM）中增强推理来自视觉感知和逻辑推理之间的复杂相互作用，尤其是在紧凑的3B参数体系结构之间的复杂相互作用，其中体系结构限制了推理能力和模态对准。尽管基于规则的强化学习（RL）在仅文本域中出色，但其多模式扩展面临两个关键障碍：（1）由于含糊不清的答案和稀缺的复杂推理示例，数据限制，以及（2）由多模式预训练诱导的基础推理降低。为了应对这些挑战，我们提出\ textbf {lmm- ...

基于 Transformer 的语音自我监督学习（SSL）模型，例如休伯特，在各种语音处理任务中表现出令人惊讶的表现。但是，语音SSL模型中的大量参数需要压缩到更紧凑的模型，以便在学术界或小型公司中使用更广泛的用法。在这项研究中，我们建议在 Transformer 层上重用注意图，以在保留层数的同时删除键和查询参数 ...