scaling
-
模型越大，表现越差？谷歌收集了让大模型折戟的任务，还打造了一个新基准
随着语言模型变得越来越大（参数数量、使用的计算量和数据集大小都变大），它们的表现似乎也原来越好，这被称为自然语言的 Scaling Law。这一点已经在很多任务中被证明是正确的。 …
随着语言模型变得越来越大（参数数量、使用的计算量和数据集大小都变大），它们的表现似乎也原来越好，这被称为自然语言的 Scaling Law。这一点已经在很多任务中被证明是正确的。 …
