训练
-
训练ViT和MAE减少一半计算量！Sea和北大联合提出高效优化器Adan，深度模型都能用
自Google提出Vision Transformer(ViT)以来，ViT渐渐成为许多视觉任务的默认backbone。凭借着ViT结构，许多视觉任务的SoTA都得到了进一步提升，…
-
如何正确定义测试阶段训练？顺序推理和域适应聚类方法
域适应是解决迁移学习的重要方法，当前域适应当法依赖原域和目标域数据进行同步训练。当源域数据不可得，同时目标域数据不完全可见时，测试阶段训练（Test- Time Training）…
-
无需下游训练，Tip-Adapter大幅提升CLIP图像分类准确率
论文链接：https://arxiv.org/pdf/2207.09519.pdf 代码链接：https://github.com/gaopengcuhk/Tip-Adapter …
-
初探自然语言预训练技术演进之路
人工智能的三个层次： 运算职能：数据的存储和计算能力，机器远胜于人类。 感知职能：视觉、听觉等能力，机器在语音识别、图像识别领域已经比肩人类。 认知智能：自然语言处理、常识建模与推…
-
大模型训练之难，难于上青天？预训练易用、效率超群的「李白」模型库来了！
LiBai（李白）模型库覆盖了 Hugging Face、Megatron-LM、DeepSpeed、FairSeq 这些所有主流 Transformer 库的优点，让大模型训练飞…
-
预训练、微调和上下文学习
最近语言模型在自然语言理解和生成方面取得了显著进展。这些模型通过预训练、微调和上下文学习的组合来学习。在本文中将深入研究这三种主要方法，了解它们之间的差异，并探讨它们如何有助于语言…
-
预训练、微调和上下文学习
最近语言模型在自然语言理解和生成方面取得了显著进展。这些模型通过预训练、微调和上下文学习的组合来学习。在本文中将深入研究这三种主要方法，了解它们之间的差异，并探讨它们如何有助于语言…
-
算力芯片+服务器+数据中心，如何测算ChatGPT算力需求？
ChatGPT发布之后，引发了全球范围的关注和讨论，国内各大厂商相继宣布GPT模型开发计划。以GPT模型为代表的AI大模型训练，需要消耗大量算力资源，主要需求场景来自：预训练+日常…
-
重采样技术在数据科学中的应用
译者 | 崔皓,审校 | 孙淑娟,本文介绍什么是重采样以及如何使用重采样技术提高模型的整体性能。,,在使用数据模型时，由于模型的算法不同而导致接受数据时有不同的学习模式。通过这种直…
