ccmt 2021 机器翻译（全国机器翻译大赛）
近日，由国际计算语言学协会（ACL）主办的WMT 2019国际机器翻译大赛客观评审结果揭晓。微软亚洲研究院机器学习团队参与了11项机器翻译任务中的7项。获得第一名，其他4项获得第二名。
图片来自大赛网站，横方向为源语言，纵方向为目标语言。
7项任务获得第一名，4项任务获得第二名
WMT，全称Conference on Machine Translation（http://www.statmt.org/wmt19/），是全球学术界认可的国际顶级机器翻译竞赛。自2006年起，WMT机器翻译大赛已成功举办14届。每届大赛都是全球各大高校、科技公司和学术机构展示机器翻译能力的竞赛，见证了机器翻译技术的不断进步。
本次WMT 2019比赛（http://www.statmt.org/wmt19/translation-task.html）共有来自全球超过50支队伍参赛，其中包括微软、Facebook、百度、字节跳动、平安、日本信息通信研究机构等（NICT）等企业、科研机构和大学。比赛共设置了19个不同语言之间的翻译任务。微软亚洲研究院参加了11项翻译任务，其中7项翻译任务获得第一名，包括：德译英、德译法、法译德、汉译英、英语立陶宛语、英语-芬兰语、俄语-英语。另外4个任务排名第二，包括：英语-德语、立陶宛语-英语、芬兰语-英语、英语-哈萨克语。来自微软的另一支团队在英语-德语任务中获得第一名。
结果显示，本次比赛亚军队伍获得三项任务第一名，季军队伍获得两项任务第一名。微软亚洲研究院的神经网络机器翻译算法的表现遥遥领先于其他参赛队伍。
机器翻译算法改进
2018年3月，微软亚洲研究院和微软雷蒙德研究院联合开发的机器翻译系统在WMT 2017大会上发布。通用新闻报道测试newstest2017机器翻译系统集成了微软亚洲研究院机器学习组的最新研究成果。研究成果——对偶学习和审议网络，以及自然语言计算组的最新技术——联合训练和协议正则化。
在WMT 2019比赛中，微软亚洲研究院机器学习团队再次将多项创新算法应用到机器翻译任务中，从学习机制、预训练、网络架构优化、数据增强等方面改进机器翻译。结果的质量。
此次使用的创新算法包括：
? MADL：多智能体对偶学习，多智能体对偶学习
? MASS：屏蔽序列到序列预训练，屏蔽序列到序列预训练
? NAO：自动神经架构优化，自动神经网络架构优化
? SCA：软上下文数据增强，软上下文数据增强
其中，关于NAO的论文已被NIPS 2018收录，关于MADL的论文已被ICLR 2019收录，关于MASS的论文已被ICML 2019收录。
新的学习机制：MADL多体对偶学习
在机器翻译中，数据量越大，训练数据的质量越高，训练翻译结果就越好。创新的MADL算法基于对偶学习，利用正向翻译和反向翻译的多种模型对单语数据进行正向和反向翻译和评分，然后将评分最高的数据放入训练数据中以获得更多高质量的数据，或者添加单语数据的前向和后向重构误差到损失函数以增强学习过程。 MADL不限于某种语言，可以提供任何源语言和目标语言之间的双重学习能力。
更好的预训练：MASS 屏蔽序列到序列预训练
MASS 是一种专为序列生成而设计的预训练算法，比BERT 和GPT/2 更通用。 BERT模型通常会屏蔽掉句子中的某个单词，然后通过分类来预测该单词； GPT模型给定前面的单词，通过分类生成后面的单词，直到一个句子或整个文档；两者都是预先训练好的编码器。翻译是基于编码器-解码器-注意力框架，因此BERT 和GPT/2 不太适合翻译任务。然而，MASS 可以随机屏蔽句子中的一些连续片段，然后训练编码器-解码器-注意力模型来预测和生成片段，从而使用海量单语数据来预训练然后初始化翻译模型。因此，MASS 比BERT 和GPT/2 更适合机器翻译应用场景。实验证明，MASS 屏蔽翻译句子中50% 的片段效果最佳。
网络架构优化： NAO 自动神经网络架构优化
NAO从神经网络结构优化的角度提高机器翻译水平。不同的网络结构通常对翻译结果影响较大。 NAO将离散网络结构嵌入到连续向量空间中，通过不断优化找到更好的网络结构。与固定的Transformer相比，NAO可以找到更加多样化的网络结构，与Transformer形成优势互补，使得机器翻译多模型融合的效果更好。
数据增强：SCA 软上下文数据增强
所谓SCA软上下文数据增强，就是在双语训练数据中随机分块一个单词，然后根据语言模型利用上下文来预测该单词，然后选择概率最大的单词，将这些预测的单词进行线性组合根据预测的概率。把它们放在一起来代替原来被屏蔽的单词。这样，一个句子/句对可以生成多个句子/句对，同一个句子的翻译可以产生多个合理的翻译结果。这也与实际翻译过程中翻译结果并不唯一的事实相一致。通过这种软上下文数据增强，可以扩大训练数据的规模，提高数据质量，获得更好的翻译结果。
在这11个机器翻译任务中，微软亚洲研究院的研究人员对每个翻译任务都使用了上述不同的技术。未来，研究团队计划将这四个层面的创新技术进行整合，通过与微软翻译产品部门的合作，尽快将新技术转化为微软翻译产品。