arxiv Scaling Laws for Precision

阅 读

Star 0
名称
Scaling Laws for Precision
首页
https://yiyibooks.cn/arxiv/2411.04330v1/index.html
原始地址
https://arxiv.org/abs/2411.04330
描述
低精度训练和推理会影响语言模型的质量和成本，但当前的缩放法则并未考虑到这一点。在这项工作中，我们为训练和推理设计了“精确感知”的缩放法则。我们建议，较低精度的训练会减少模型的“有效参数计数”，使我们能够预测低精度训练和训练后量化所产生的额外损失 ...