Fast approximate reciprocal approximations for iterative algorithms

倒数函数 1/x 对于许多实时算法很重要。它被用于从迭代估计到机器学习等领域的各种算法中。许多这些算法本质上是迭代的，需要在线计算倒数 ...

Softermax: Hardware/Software Co-Design of an Efficient Softmax for Transformers

Transformer 改变了自然语言处理领域。这种性能很大程度上归功于堆叠自注意力层的使用，每个层都由矩阵乘法和 softmax 运算组成。因此，与其他神经网络不同，softmax 操作占 Transformer 总运行时间的很大一部分 ...