transformer
-
谷歌团队推出新Transformer，优化全景分割方案
最近，谷歌AI团队受Transformer和DETR的启发提出了一种使用Mask Transformer进行全景分割的端到端解决方案。 全称是end-to-end solutio…
-
DeepMind新作：无需权重更新、提示和微调，transformer在试错中自主改进
目前，Transformers 已经成为序列建模的强大神经网络架构。预训练 transformer 的一个显著特性是它们有能力通过提示 conditioning 或上下文学习来适应…
-
再掀强化学习变革！DeepMind提出「算法蒸馏」：可探索的预训练强化学习Transformer
在当下的序列建模任务上，Transformer可谓是最强大的神经网络架构，并且经过预训练的Transformer模型可以将prompt作为条件或上下文学习（in-context l…
-
解锁CNN和Transformer正确结合方法，字节跳动提出有效的下一代视觉Transformer
由于复杂的注意力机制和模型设计，大多数现有的视觉 Transformer（ViT）在现实的工业部署场景中不能像卷积神经网络（CNN）那样高效地执行。这就带来了一个问题：视觉神经网络…
-
从Transformer到扩散模型，一文了解基于序列建模的强化学习方法
大规模生成模型在近两年为自然语言处理甚至计算机视觉带来的巨大的突破。最近这股风潮也影响到了强化学习，尤其是离线强化学习（offline RL），诸如 Decision Transf…
-
斯坦福、Meta AI研究：实现AGI之路，数据剪枝比我们想象得更重要
在视觉、语言和语音在内的机器学习诸多领域中，神经标度律表明，测试误差通常随着训练数据、模型大小或计算数量而下降。这种成比例提升已经推动深度学习实现了实质性的性能增长。然而，这些仅通…
