作者 | 李梅

编辑| 陈才贤

机器翻译是人类消除语言障碍、重建巴别塔的新工具。 然而，在世界上7000多种已知语言中，许多资源匮乏的语言并没有受到足够的重视。 尤其是近一半的语言没有标准的书写系统。 这是构建机器翻译工具的主要障碍。 因此，目前人工智能翻译主要针对书面语言。

在利用人工智能推动自然语言翻译方面，Meta一直致力于“不让任何语言掉队”的目标。

例如，中国方言之一的闽南语现在拥有自己的机器翻译系统。 闽南语人士可以与英语人士进行无障碍对话。

这是第一个由 Meta 开源的人工智能驱动的非书面语音到语音翻译系统。 快来听听这项工作的领军人物、出生于中国台湾的Meta AI研究员陈鹏仁与小查的对话。

看视频：

该系统可以将闽南语语音翻译成英语语音Meta开源首个AI语音翻译系统，闽南语、英语直接语音互译！，反之亦然。 懂闽南语的读者可以过来看看。 翻译效果还不错吧？

据了解，这个开源翻译系统是Meta通用语音翻译（UST）项目的一部分，该项目致力于开发新的人工智能方法，帮助实现所有现有语言的实时语音到语音翻译。 目前，Meta已经开源了翻译模型和评估数据集。 研究论文如下：

论文地址：

克服训练数据挑战

闽南语是汉语方言之一，是一种资源匮乏的语言，没有标准的书写系统，人工英语到闽南语的翻译人员相对较少，因此收集和标记模型的训练数据变得更加困难。

图例：讲闽南语的人数

为此在线英语转语音，Meta AI的研究团队采用了特殊的解决方案，以中文（高资源语言）作为中间语言，构建伪标签并进行人工翻译。 他们首先将英语（或闽南语）语音翻译成普通话文本，然后将其翻译成闽南语（或英语）并将其添加到训练数据中。 这种方法通过利用来自类似高资源语言的数据极大地提高了模型性能。

语音挖掘是训练数据生成的另一种方法。 使用预先训练的语音编码器，闽南语语音嵌入可以被编码到与其他语言相同的语义空间中，因此闽南语书面形式的缺乏不会造成问题。 闽南语语音可以与语义相似的英语语音和文本进行对齐，然后从文本中合成英语语音，产生并行的闽南语和英语语音。

图例：无需人工注释的语音翻译模型

一种新的建模方法：语音到语音

许多语音翻译系统依赖于转录或语音转文本系统。 然而，闽南语的形式主要是口语，缺乏标准的书面文字系统，无法将其转录成文字。 因此，Meta构建的是一个语音到语音翻译系统。

研究人员使用语音到单元（S2UT）翻译将输入语音直接翻译成一系列声学单元，这也是Meta最早开创的路径。 然后从这些声学单元生成波形。 此外，研究人员还采用UnitY作为双通道解码机制，第一通道解码器生成相关语言（即普通话）的文本，第二通道解码器创建单元。

图例：UnitY模型架构

新的准确性评估系统

语音翻译系统的评估工具通常是ASR-BLEU指标，它首先使用自动语音识别（ASR）将翻译后的语音转录为文本，然后将转录文本与人工翻译文本进行比较，计算BLEU分数。

然而，评价闽南语音译系统的难点在于它没有标准的书面文字系统。 因此，为了实现自动化评估，研究人员开发了一种系统，可以将闽南语语音转录为标准化的注音，称为“台语”。 这样就可以在音节级别计算BLEU分数，以比较不同方法的翻译质量。

除了开发这种评估闽英语音翻译的方法外，研究人员还基于台湾语台湾语语料库创建了第一个闽英双向语音翻译基准数据集。 该基准数据集将开源，以方便更多研究人员从事闽南语语音翻译工作。

不仅仅是闽南语

这项工作中使用的技术可以进一步扩展到许多其他书面和非书面语言。

为此，Meta 还发布了大型语音转语音翻译语料库 SpeechMatrix，该语料库利用 Meta 的创新数据挖掘技术 LASER 从欧洲议会录制的真实演讲中挖掘数据。 该数据库包含 136 个语言对的语音对齐，总计 418,000 小时的语音。 挖掘的数据和模型是免费的，研究人员可以创建自己的语音到语音翻译（S2ST）系统。

图例：激光挖掘获得的语音到语音配对数据

Meta在无监督语音识别（wav2vec-U）和无监督机器翻译（mBART）方面的研究进展也为口语翻译工作提供了支持。 例如，预训练语音模型的无监督域适应技术提高了下游无监督语音识别的性能，特别是对于资源匮乏的语言，并且可以在无需任何手动标注的情况下构建高质量的语音到语音翻译模型。 。

该模型仍在开发中，目前一次只能翻译一个完整的句子在线英语转语音，但它是朝着未来实现语言间同声传译迈出的一步。

Meta AI 研究员陈鹏仁表示，这套闽南语翻译系统实际上部分是基于他的个人意愿。 他在中国台湾长大在线英语转语音在线英语转语音，会说普通话，但他的父亲不擅长普通话。 他希望父亲能和闽南语大家顺利沟通。 这也是AI对于人类的意义之一。

参考链接：