加持Transformer系統(tǒng),Google翻譯突出解決語義問題

Lynn 8年前 (2017-09-01)

優(yōu)化后的系統(tǒng)將會利用單詞之間的關(guān)聯(lián)性來提高正確率。

據(jù)了解,9月1日,Google表示,他們利用Transformer系統(tǒng)完成了對Google翻譯的優(yōu)化,解決了同一單詞在文章中出現(xiàn)不同翻譯結(jié)果的問題。

加持Transformer系統(tǒng),Google翻譯突出解決語義問題

對于Google翻譯此前存在的問題,Google自然語言部門的Jakob Uszkoreit舉例做出了解釋,他用了兩個句子,如下:

I arrived at the bank after crossing the street.

I arrived at the bank after crossing the river.

顯然,兩句中“bank”的意思不同,但是對于Google翻譯系統(tǒng)的算法來說,它很難辨別出對于該單詞的哪一種翻譯是正確的,正常翻譯情況下,Google翻譯會根據(jù)前后語義最終決定句子的不確定單詞的釋義。

雖然,研究人員可以通過修改神經(jīng)網(wǎng)絡(luò),讓其在翻譯過程中進行反復(fù)查錯,但這樣是十分低效的。

加持Transformer系統(tǒng),Google翻譯突出解決語義問題

對此,Google采取的解決方案是采用注意力機制,他們將其內(nèi)置一個稱為Transformer的系統(tǒng)來解決這個問題。

具體來看,它將每個單詞與句子中的其他單詞進行比較,以查看其中的任何一個是否會以某種關(guān)鍵的方式相互影響。

當(dāng)句子在翻譯的過程中,該機制會將每個單詞與相關(guān)單詞組合在一起的意思進行匹配比較,如下動圖所示:

 

最后Transformer系統(tǒng)會根據(jù)該單詞與其相關(guān)單詞之間的相關(guān)性打分,從而挑選出最佳釋義。

加持Transformer系統(tǒng),Google翻譯突出解決語義問題

昨天,若有人嘗試?yán)肎oogle翻譯,會發(fā)現(xiàn)頁面是無法打開的,筆者原以為是網(wǎng)站維護出現(xiàn)問題,不曾料想Google已經(jīng)悄然完成了對其翻譯系統(tǒng)的一次升級。不過,雖然Google翻譯已經(jīng)進行了優(yōu)化,但如果我們想要看見明顯的效果,還需耐心等待系統(tǒng)自己學(xué)習(xí)一段時間。

最后,記得關(guān)注微信公眾號:鎂客網(wǎng)(im2maker),更多干貨在等你!

鎂客網(wǎng)


科技 | 人文 | 行業(yè)

微信ID:im2maker
長按識別二維碼關(guān)注

硬科技產(chǎn)業(yè)媒體

關(guān)注技術(shù)驅(qū)動創(chuàng)新

分享到