模型

2022 年是人工智能生成内容（AI Generated Content，AIGC）爆发的一年，其中一个热门方向就是通过文字描述（text prompt）来对图片进行编辑。已有方法…

  2022年是生成式AI发展进程中的重要一年。大型语言模型在生成文本和软件代码方面不断取得进展。与此同时，随着DALL-E2、Imagen和StableDiffusio…

几天前，Meta AI 联合 Papers with Code ​​发布了大型语言模型 Galactica​，该模型的一大特点就是解放你的双手，代笔帮你写论文，写的论文有…

译者 | 李睿 审校 | 孙淑娟 OpenAI又火了！近期许多人的朋友圈里都混进了一个让人既爱又怕的狠角色，以至于StackOverflow不得不急忙下架。 近日，OpenAI发布…

当观察一副图像时，你会先注意图像的哪些内容，或者说图像中的哪些区域会首先吸引你的注意力，机器能否学会人类的这种注意力形式。在来自谷歌的一项研究中，他们开源的注意力中心模型（atte…

前言 GPT系列是OpenAI的一系列预训练文章，GPT的全称是Generative Pre-Trained Transformer，顾名思义，GPT的目的就是通过Transfor…

自 2017 年提出至今，Transformer 模型已经在自然语言处理、计算机视觉等其他领域展现了前所未有的实力，并引发了 ChatGPT 这样的技术突破，人们也提出了各种各样基…

随着语言模型变得越来越大（参数数量、使用的计算量和数据集大小都变大），它们的表现似乎也原来越好，这被称为自然语言的 Scaling Law。这一点已经在很多任务中被证明是正确的。 …

ChatGPT 出现后惊喜或惊醒了很多人。惊喜是因为没想到大型语言模型（LLM,Large Language Model）效果能好成这样；惊醒是顿悟到我们对 LLM 的认知及发展理…

特斯拉是一个典型的AI公司，过去一年训练了75000个神经网络，意味着每8分钟就要出一个新的模型，共有281个模型用到了特斯拉的车上。接下来我们分几个方面来解读特斯拉FSD的算法和…

继 BERT 之后，研究者们注意到了大规模预训练模型的潜力，不同的预训练任务、模型架构、训练策略等被提出。但 BERT 类模型通常存在两大缺点：一是过分依赖有标签数据；二是存在过拟…

现在很多AI应用模型，都不得不提到一个模型结构： Transformer。 它抛弃了传统的CNN和RNN，完全由Attention机制组成。 Transformer不仅赋予了各种A…