量化
-
清华朱军团队新作：使用4位整数训练Transformer，比FP16快2.2倍，提速35.1%，加速AGI到来！
将激活、权重和梯度量化为4位，有望加速神经网络训练。 然而，现有的4位训练方法需要自定义数字格式，而现代硬件不支持这种格式。 最近，清华朱军团队提出了一种使用INT4算法实现所有矩…
-
如何通过分布式实现云中的弹性吞吐量以促进AI训练？
译者 | 李睿 审校 | 重楼 人工智能现在是量化研究等领域软件开发的基石。在工作负载激增期间，量化对冲基金经常面临资源浪费和计算资源不足等挑战。 为了解决这些问题，基于云的弹性计…
-
基于重排序的新量化方法RPTQ：实现大型语言模型的 3 比特量化
大型语言模型（LLMs）在各种任务上表现出色，但由于其庞大的模型规模，部署方面存在挑战。 在这篇论文中，来自后摩智能、腾讯 AI Lab、华中科技大学、北京大学、伊利诺伊理工学院的…
-
南洋理工发布量化交易大师TradeMaster，涵盖15种强化学习算法
近日，量化平台大家庭迎来了一位新成员，基于强化学习的开源平台: TradeMaster— 交易大师。 TradeMaster 由南洋理工大学开发，是一个涵盖四大金融市场，…
-
基于重排序的新量化方法RPTQ：实现大型语言模型的 3 比特量化
大型语言模型（LLMs）在各种任务上表现出色，但由于其庞大的模型规模，部署方面存在挑战。 在这篇论文中，来自后摩智能、腾讯 AI Lab、华中科技大学、北京大学、伊利诺伊理工学院的…
-
100亿参数的语言模型跑不动？MIT华人博士提出SmoothQuant量化，内存需求直降一半，速度提升1.56倍！
大型语言模型（LLM）虽然性能强劲，但动辄几百上千亿的参数量，对计算设备还是内存的需求量之大，都不是一般公司能承受得住的。 量化（Quantization）是常见的压缩操作，通过降…
