神经网络
-
突破神经网络限制,量子蒙特卡洛研究新进展登Nature子刊
时隔四个月,ByteDance Research 与北京大学物理学院陈基课题组又一合作工作登上国际顶级刊物 Nature Communications:论文《 …
-
深度学习中的拓扑美学:GNN基础与应用
导读:在真实世界中,很多数据往往以图的形式出现,例如社交网络、电商购物、蛋白质相互作用关系等,过去几年基于神经网络的图数据分析与挖掘方式因其出色的性能受到了广泛的关注,不仅一跃成为…
-
使用迁移学习技术训练定制深度学习模型
译者 | 朱先忠 审校 | 孙淑娟 迁移学习是机器学习的一种类型,它是一种应用于已经训练或预训练的神经网络的方法,而且这些预训练的神经元网络是使用数百万个数据点训练出来的。 该技…
-
全面碾压AdamW!谷歌新出优化器内存小、效率高,网友:训练GPT 2果然快
优化器即优化算法,在神经网络训练中起着关键作用。近年来,研究者引入了大量的手工优化器,其中大部分是自适应优化器。Adam 以及 Adafactor 优化器仍然占据训练神经网络的主流…
-
GNN如何建模时空信息?伦敦玛丽女王大学「时空图神经网络」综述,简明阐述时空图神经网络方法
这些强大的算法在过去几年中获得了巨大的兴趣。然而,这种性能是基于静态图结构假设的,这限制了图神经网络在数据随时间变化时的性能。时序图神经网络是考虑时间因素的图神经网络的扩展。 近…
-
GNN的基础、前沿和应用
近年来,图神经网络(GNN)取得了快速、令人难以置信的进展。图神经网络又称为图深度学习、图表征学习(图表示学习)或几何深度学习,是机器学习特别是深度学习领域增长最快的研究课题。本次…
-
AlphaZero的黑箱打开了!DeepMind论文登上PNAS
国际象棋一直是 AI 的试验场。70 年前,艾伦·图灵猜想可以制造一台能够自我学习并不断从自身经验中获得改进的下棋机器。上世纪出现的「深蓝」第一次击败人类,但它依赖专家编码人类的国…
-
逆天了!用Numpy开发深度学习框架,透视神经网络训练过程
哈喽,大家好。 今天给大家分享一个非常牛逼的开源项目,用Numpy开发了一个深度学习框架,语法与 Pytorch 基本一致。 今天以一个简单的卷积神经网络为例…
-
图灵机就是深度学习最热循环神经网络RNN?1996年论文就已证明!
1996年的8月19日至23日,芬兰的瓦萨举行了由芬兰人工智能协会和瓦萨大学组织的芬兰人工智能会议。 会议上发表的一篇论文证明:图灵机就是一个循环神经网络。 没错,这是在26年前!…
-
漂移感知动态神经网络加持,时间域泛化新框架远超领域泛化&适应方法
在领域泛化 (Domain Generalization, DG) 任务中,当领域的分布随环境连续变化时,如何准确地捕捉该变化以及其对模型的影响是非常重要但也极富挑战的问题。为此,…
-
首个在ImageNet上精度超过80%的二值神经网络BNext问世,-1与+1的五年辛路历程
两年前,当 MeliusNet 问世时,机器之心曾发表过一篇技术文章《第一次胜过 MobileNet 的二值神经网络,-1 与 + 1 的三年艰苦跋涉》,回顾了 BNN …
-
如何提高存储、传输效率?参数集约型掩码网络效果显著
为了处理更复杂的任务,近年来神经网络的规模也在不断变大,如何高效的储存和传输神经网络变得十分重要。另一方面,随着彩票假说(Lottery Ticket Hypothesis (LT…