transformer
-
在Transformer时代重塑RNN，RWKV将非Transformer架构扩展到数百亿参数
Transformer 模型在几乎所有自然语言处理（NLP）任务中都带来了革命，但其在序列长度上的内存和计算复杂性呈二次方增长。相比之下，循环神经网络（RNNs）在内存和计算需求上…
-
此「错」并非真的错：从四篇经典论文入手，理解Transformer架构图「错」在何处
前段时间，一条指出谷歌大脑团队论文《Attention Is All You Need》中 Transformer 构架图与代码不一致的推文引发了大量的讨论。 对于 Sebasti…
-
Transformer结构及其应用详解——GPT、BERT、MT-DNN、GPT-2
在介绍Transformer前我们来回顾一下RNN的结构 对RNN有一定了解的话，一定会知道，RNN有两个很明显的问题 效率问题：需要逐个词进行处理，后一个词要等到前一个词的隐状态…
-
Transformer六周年：当年连NeurIPS Oral都没拿到，8位作者已创办数家AI独角兽
从 ChatGPT 到 AI 画图技术，人工智能领域最近的这波突破或许都要感谢一下 Transformer。 今天是著名的 transformer 论文提交六周年的日子。 论文链接…
-
Transformer开山论文惊天「翻车」？图与代码不一致，神秘Bug看傻了
今天，AI圈被一个惊天「翻车」刷屏了。 谷歌大脑的NLP奠基之作、提出Transformer架构的开山鼻祖级论文 《Attention Is All Your Need》 中的图，…
-
CV开启大模型时代！谷歌发布史上最大ViT：220亿参数，视觉感知力直逼人类
Transformer无疑是促进自然语言处理领域繁荣的最大功臣，也是GPT-4等大规模语言模型的基础架构。 不过相比语言模型动辄成千上万亿的参数量，计算机视觉领域吃到Transfo…
-
星标破10万！Auto-GPT之后，Transformer越新里程碑
2017年，谷歌团队在论文「Attention Is All You Need」提出了开创性的NLP架构Transformer，自此一路开挂。 多年来，这一架构风靡微软、谷歌、Me…
-
清华朱军团队开源首个基于Transformer的多模态扩散大模型，文图互生、改写全拿下
据悉 GPT-4 将于本周发布，多模态将成为其一大亮点。当前的大语言模型正在成为理解各种模态的通用接口，能够根据不同模态信息来给出回复文本，但大语言模型生成的内容也仅仅局限于文本。…
-
火出圈的ChatGPT，如何让安全检测更智能
ChatGPT是什么 ChatGPT（Chat Generative Pre-trained Transformer）是一款美国OpenAI研发的聊天机器人程序，能够通过理解和学习…
-
全面了解大语言模型，这有一份阅读清单
大型语言模型已经引起了公众的注意，短短五年内，Transforme等模型几乎完全改变了自然语言处理领域。此外，它们还开始在计算机视觉和计算生物学等领域引发革命。 鉴于Transfo…
-
CV开启大模型时代！谷歌发布史上最大ViT：220亿参数，视觉感知力直逼人类
Transformer无疑是促进自然语言处理领域繁荣的最大功臣，也是GPT-4等大规模语言模型的基础架构。 不过相比语言模型动辄成千上万亿的参数量，计算机视觉领域吃到Transfo…
-
ChatGPT里的G、P、T，分别代表什么？你知道吗？
比尔盖茨：ChatGPT是1980年以来最具革命性的科技进步。 身处这个AI变革的时代，唯有躬身入局，脚步跟上。 这是一篇我的学习笔记，希望对你了解ChatGPT有帮助。 1、Ch…
