根据微软亚洲研究院消息,微软研究团队宣布其研发的机器翻译系统在通用新闻报道测试集newstest2017的中-英测试集上达到了人类水平,这是首个在新闻报道的翻译质量和准确率上可以比肩人工翻译的翻译系统。该系统模型包含了由微软亚洲研究院研发的对偶学习、推敲网络、联合训练和一致性规范技术。机器翻译是自然语言处理领域最具挑战性的研究任务之一。

newstest2017新闻报道测试集由产业界和学术界的合作伙伴共同开发,并于去年秋天在WMT17大会上发布。为了确保翻译结果准确且达到人类的翻译水平,微软研究团队邀请了双语语言顾问将微软的翻译结果与两个独立的人工翻译结果进行了比较评估。

微软技术院士,负责微软语音、自然语言和机器翻译工作的黄学东称,这是对自然语言处理领域最具挑战性任务的一项重大突破。“在机器翻译方面达到与人类相同的水平是所有人的梦想,我们没有想到这么快就能实现。”他表示,“消除语言障碍,帮助人们更好地沟通,这非常有意义,值得我们多年来为此付出的努力。”

微软亚洲研究院副院长、自然语言计算组负责人周明表示,在WMT17测试集上的翻译结果达到人类水平很鼓舞人心,但仍有很多挑战需要我们解决,比如在实时的新闻报道上测试系统等。

微软机器翻译团队研究经理Arul Menezes表示,团队想要证明的是:当一种语言对(比如中-英)拥有较多的训练数据,且测试集中包含的是常见的大众类新闻词汇时,那么在人工智能技术的加持下机器翻译系统的表现可以与人类媲美。

没有“正确的”翻译结果

newstest2017新闻报道测试集包括约2000个句子,由专业人员从在线报纸样本翻译而来。微软团队对测试集进行了多轮评估,每次评估会随机挑选数百个句子翻译。为了验证微软的机器翻译是否与人类的翻译同样出色,微软没有停留在测试集本身的要求,而是从外部聘请了一群双语语言顾问,将微软的翻译结果与人工翻译进行比较。

验证过程之复杂也从另一个侧面体现了机器翻译要做到准确所面临的复杂性。对于语音识别等其它人工智能任务来说,判断系统的表现是否可与人类媲美相当简单,因为理想结果对人和机器来说完全相同,研究人员也将这种任务称为模式识别任务。

然而,机器翻译却是另一种类型的人工智能任务,即使是两位专业的翻译人员对于完全相同的句子也会有略微不同的翻译,而且两个人的翻译都不是错的。那是因为表达同一个句子的“正确的”方法不止一种。周明表示:“这也是为什么机器翻译比纯粹的模式识别任务复杂得多,人们可能用不同的词语来表达完全相同的意思,但未必能准确判断哪一个更好。”

复杂性让机器翻译成为一个极有挑战性的问题,但也是一个极有意义的问题。刘铁岩认为,我们不知道哪一天机器翻译系统才能在翻译任何语言、任何类型的文本时,都能在“信、达、雅”等多个维度上达到专业翻译人员的水准。不过,他对技术的进展表示乐观,因为每年微软的研究团队以及整个学术界都会发明大量的新技术、新模型和新算法,“我们可以预测的是,新技术的应用一定会让机器翻译的结果日臻完善。”

研究团队还表示,此次技术突破将被应用到微软的商用多语言翻译系统产品中,从而帮助其它语言或词汇更复杂、更专业的文本实现更准确、更地道的翻译。此外,这些新技术还可以被应用在机器翻译之外的其他领域,催生更多人工智能技术和应用的突破。