當前的 AI 翻譯主要應(yīng)用于書面語言。但世界現(xiàn)存的幾千種語言，近一半是口頭語言。口頭語言幾乎沒有規(guī)范的書寫系統(tǒng)，難以用通常方法來開發(fā)、訓練翻譯模型。

為了應(yīng)對這一挑戰(zhàn)， 建立了第一個以口語為主的閩南語 AI 翻譯系統(tǒng)，其可一定程度上讓說閩南語與說英語的人，進行良好對話。

對外表示：“口頭交流可以幫助打破人與人之間的隔閡，也有助于人們在元宇宙(Metaverse)中交流。”該公司當前正在全力發(fā)展元宇宙業(yè)務(wù)，甚至在 2021 年 11 月將公司名字由 改為 。如果元宇宙要取得成功，需要實現(xiàn)更加身臨其境和自然的體驗。

據(jù)了解，開發(fā)閩南語翻譯系統(tǒng)的一個重要前提是，需要有足夠的數(shù)據(jù)。如今的機器翻譯模型大都需要海量的書面文本來做訓練。而閩南語的文本資源較少，在收集和注釋數(shù)據(jù)方面存在不足。

因此，研究者決定利用高資源語言的數(shù)據(jù)來解決這一問題。他們選擇使用普通話作為中介，即將閩南語轉(zhuǎn)為普通話后，再譯成相應(yīng)的另一語言。該方法極大提高了模型的性能。

另外， 還采用了一種語音挖掘的訓練數(shù)據(jù)生成方法，借助預(yù)訓練的語音編碼器，將閩南語和其他語言嵌入到同一語義空間中。這樣，即使閩南語沒有文字形式，其也能和英語或語義相似的文本對應(yīng)。

值得一提的是， 還為非書面語言翻譯開發(fā)了一種新的建模方法。

據(jù)了解，目前的語音翻譯模型開發(fā)，大都需要借助轉(zhuǎn)錄或語音生成文本系統(tǒng)。但由于口頭語言缺少規(guī)范的文字，因此， 將重點放在了語音到語音的翻譯上。

研究人員使用“語音到單元的轉(zhuǎn)換”(Speech-to-Unit Translation，S2UT)方法，把輸入的語音變成許多聲學單元。然后，再讓聲學單元產(chǎn)生波形。此外，他們還采用雙通道解碼機制，分別用來生成單元和以相關(guān)語言(普通話)生成文本。

接著， 對閩南語翻譯系統(tǒng)的準確性做了評估。一般來說，語音翻譯系統(tǒng)的評估采用的是 ASR-BLEU 指標。該指標指的是，用自動語音識(ASR Automatic Speech Recognition)將翻譯的語音轉(zhuǎn)換成文本，再對比轉(zhuǎn)換文本與人工翻譯文本，從而計算 BLEU 分數(shù)。BLEU 全稱為 Bilingual evaluation understudy(雙語評價替補)，是一種標準的機器翻譯指標。

關(guān)鍵詞： Meta開創(chuàng)非書面語言翻譯新方法 非書面語言翻譯新方法 書面語言翻譯 語言翻譯