基本信息 - How Good Are Low-bit Quantized LLaMA3 Models? An Empirical Study

arxiv How Good Are Low-bit Quantized LLaMA3 Models? An Empirical Study

阅读

Star 0

名称: How Good Are Low-bit Quantized LLaMA3 Models? An Empirical Study

首页: https://yiyibooks.cn/arxiv/2404.14047v1/index.html

原始地址: https://arxiv.org/pdf/2404.14047

描述

Meta 的 LLaMA 系列已成为最强大的开源大型语言模型 (LLM) 系列之一。值得注意的是，LLaMA3 模型最近已发布，并通过对超过 15T  Token 的数据进行超大规模预训练，在各种方面取得了令人印象深刻的性能。鉴于 LLM 低位量化在资源有限的场景中的广泛应用，我们探索了 LLaMA3 在量化为低位宽时的功能 ...