梯度
-
清华朱军团队新作:使用4位整数训练Transformer,比FP16快2.2倍,提速35.1%,加速AGI到来!
将激活、权重和梯度量化为4位,有望加速神经网络训练。 然而,现有的4位训练方法需要自定义数字格式,而现代硬件不支持这种格…
-
Transformer结构及其应用详解——GPT、BERT、MT-DNN、GPT-2
在介绍Transformer前我们来回顾一下RNN的结构 对RNN有一定了解的话,一定会知道,RNN有两个很明显的问题 …
-
一文带你了解什么是梯度下降
梯度下降是机器学习的动力之源 经过前面两节内容的铺垫,我们可以开始讲一讲机器学习的动力之源:梯度下降。 梯度下降并不是一…














