量化
-
清华朱军团队新作:使用4位整数训练Transformer,比FP16快2.2倍,提速35.1%,加速AGI到来!



将激活、权重和梯度量化为4位,有望加速神经网络训练。 然而,现有的4位训练方法需要自定义数字格式,而现代硬件不支持这种格…
-
100亿参数的语言模型跑不动?MIT华人博士提出SmoothQuant量化,内存需求直降一半,速度提升1.56倍!
大型语言模型(LLM)虽然性能强劲,但动辄几百上千亿的参数量,对计算设备还是内存的需求量之大,都不是一般公司能承受得住的…














