大语言模型的 few-shot 或许会改变机器翻译的范式

大语言模型的 few-shot 或许会改变机器翻译的范式,近期 NLP 界的大语言模型 (Large LM) 引领了一波研究热潮 。有关大语言模型介绍的博文众多、此处推荐一下 Stanford 为此专门设计的一门课程(仅开源了讲义)。,Stanford CS324 – Large Language Modelsstanford-cs324.github.io/winter2022/,大语言模型当然也影响到了机器翻译领域。近一个月里 arxiv 上挂出了多篇相关的论文,而去年一年类似的工作基本都是在 WMT 比赛后作为参赛报告提交的。由此也可以窥见大语言模型对机器翻译的冲击。,这几篇论文展示的一些结果很有启发,尤其是本次 Google 发表的论文很有在未来改变机器翻译训练范式的潜质——尽管笔者认为论文的实验分析存在一些瑕疵,我也赞同论文标题对他们在 few-shot 机器翻译上效果的形容:unreasonable。,接下来笔者将针对论文进行简单介绍及评价。,The unreasonable effectiveness of few-shot learning for machine translation,机构:Google AI,链接:https://arxiv.org/pdf/2302.01398.pdf,本文的效果非常惊艳。作者声称只使用 decoder-only 的模型(类似PaLM) [https://ai.googleblog.com/2022/04/pathways-language-model-palm-scaling-to.html] 、中量级的单语数据做训练,再在infer时加上五组双语对,就能让 few-shot 机器翻译的结果追平甚至超过 WMT’21 竞赛的优胜模型。,作者使用了深度为 32 层、宽度为 4096 hidden+16384 的 FFW 大型 decoder-only Transformer 就在 100M 级别的单语语料上进行训练、模型参数量在 8B 左右。各语种的数据量见下表,图片,作者使用的单语语料数量级并不算大,由于采用了decoder-only的架构,作者使用了UL2的训练方法[https://arxiv.org/abs/2205.05131]。简言之,这种方法和 BERT 的 mask recover 自监督预训练很相似,只是添加了更多种类的噪音,并要求模型恢复被加噪音的token。,在 infer 阶段,作者给定了如下的 prompt 模板来让模型生成翻译结果,其中是从 dev set 中随机挑选的 5 个双语句子。还需要提及的是 MBR[https://arxiv.org/abs/2111.09388] 作为解码搜索算法而非 beam search。,图片,prompt 模板中规中矩,如此简单的步骤就完成了模型训练和 infer 的设置。,作者主要是和 WMT‘21 的前三模型以及自家的 LM 大模型 PaLM 做对比,所用的指标主要是自家的 BLEURT。,下表为大语种翻译的效果。一个有趣的点是三语训练的模型效果甚至比双语的还要好——这一点其实和以往多语言训练的经验有些不同(语种越多、大语种的效果往往越差)。,图片,两个大语种的翻译上,作者的模型追平或超过了往期冠军、甚至战胜了自家的 Google Translate 在线服务。,下表为小语种冰岛语的翻译效果。因为冰岛语较少,作者实际上是先在英、德单语上预训练,再在冰岛语单语上训练的(作者声称这种方法并不影响最终效果、只是为了训练启动更快)。有趣的一点是同为大模型的 PaLM 在小语种上效果很差,而本文的方法反而不错。,图片,小语种的翻译上不及往期冠军,但远超自家的大语言模型、比肩 Google Translate,此外论文还秀了一些术语翻译、风格化翻译的效果。这里仅介绍一个实验:作者使用了 IWSLT’22 的相关任务数据集(口语化翻译和书面语化翻译)。prompt 模板中填入的 dev set 被证实可以很好地控制翻译风格:,图片,UMD 是当期冠军。作者的 few-shot 展示了与之匹敌的效果,笔者首先要指出的是,论文的评测可能存在一些问题, 值得我们谨慎对待 ,图片,作者在附录中低调地报告了 BLEU 结果,比 SOTA 差 10 个点左右,图片,训练集和测试集的 overlap 衡量。测试集句子有 15 个 token 与训练集某句相同时,记为一次 overlap,*笔者在工作中也经常比较各大公司的翻译效果。在几家竞品翻译人工评估结果相似的情况下,BLEURT 最偏好 Google Translate 的结果,有可能是两者用了相同的训练数据。,*按照之前笔者参与 WMT 比赛的经验,有一个常见的竞赛的 trick 是在往期的 dev set 上做微量精调[https://aclanthology.org/W19-5341.pdf], 此法可以小幅度提升 BLEU 值( 1-3 BLEU),这是因为 WMT 对 dev/test set 的译文风格有着较强的一致性控制。笔者按照本文的方法测量了往期 en-de 的 dev/test set 的 15 token 重合度,都不超过 0.3%,侧面说明作者的 overlap 指标有缺陷。此外,德语、冰岛语作为屈折语,同个单词的词形变化非常地丰富,不清楚作者算 overlap 时有没有对单词做 stemming。,但即便论文实验上有缺陷、行文也多少有些 overclaim,笔者认为这篇论文足够惊艳。,其一,作者的这一套方法几乎不依赖双语数据、对单语数据的要求也很少,唯一的门槛在于模型较大 (8 B)。然而在可见的未来,大语言模型作为大势所趋,这个量级的模型的部署和训练也会越来越容易、也会有更多类似 BLOOM 的开源。即便作者的方法不能完全打败传统双语训练的模型,也极大地降低了机器翻译模型的门槛,尤其是数据门槛。,其二,作者的方法对于小语种翻译模型的训练范式(尤其是无监督机器翻译)可以说是降维打击。,其三,则是告诉我们大规模语言模型还有很多神奇性质。之前的 seq2seq 范式下,单语 pretrain +双语 few-shot 的效果并不好,很多时候得要用 Back-translation 等才能达到合格的水平。而本文通过把模型加大就直接解决了该类问题。Large LM 的潜力比我们预想的强。,此外还有一小点:风格化翻译、术语翻译、特定领域是上一代机器翻译没有很好解决的问题,本篇论文给了一些 prompt 上的经验参考,可以说是给了一种低开销的 prompt 方案(考虑到近期 NLP 社区也都在用 prompt 和 context learning 的方法来做这些任务了,没有这篇论文,这类问题的技术路径也是大体确定的)

文章版权声明

 1 原创文章作者:cmcc,如若转载,请注明出处: https://www.52hwl.com/23041.html

 2 温馨提示:软件侵权请联系469472785#qq.com(三天内删除相关链接)资源失效请留言反馈

 3 下载提示:如遇蓝奏云无法访问,请修改lanzous(把s修改成x)

 免责声明:本站为个人博客,所有软件信息均来自网络 修改版软件,加群广告提示为修改者自留,非本站信息,注意鉴别

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2023年3月5日 上午12:00
下一篇 2023年3月7日 下午10:34