Facebook 人工智能研究團(tuán)隊(duì)與應(yīng)用機(jī)器學(xué)習(xí)團(tuán)隊(duì)合作，推出了一款文本理解引擎 DeepText ，試圖讓它理解用戶貼出的每篇文章。

【編者注】本文作者：Ahmad Abdulkader、Aparna Lakshmiratan、Joy Zhang，由機(jī)器之心編譯，參與：孫睿、微胖

引言：前幾天，有新聞報(bào)道在查舉不良圖片方面，Facebook 的人工智能戰(zhàn)勝了人工。今天，這家公司人工智能研究團(tuán)隊(duì)與應(yīng)用機(jī)器學(xué)習(xí)團(tuán)隊(duì)合作，推出了一款文本理解引擎 DeepText ，試圖讓它理解用戶貼出的每篇文章。媒體預(yù)測(cè)，這款人工智能引擎將會(huì)深刻變革公司核心產(chǎn)品體驗(yàn)。 Clarifai CEO Matthew Zeiler 曾說(shuō)，谷歌真不是一家搜索公司，而是機(jī)器學(xué)習(xí)公司。谷歌 CEO 也多次表示，公司正在踐行「AI 優(yōu)先」的理念。Facebook 或許與之殊途同歸？

Facebook 的搜索世界比不上谷歌的大，不過(guò)，其規(guī)模仍然蔚為可觀。

有超過(guò)十億用戶每天都會(huì)刷Facebook，網(wǎng)絡(luò)服務(wù)器上每天有數(shù)萬(wàn)億的狀態(tài)更新，活動(dòng)邀請(qǐng)，相冊(cè)以及視頻。Facebook 正坐擁日益增長(zhǎng)的海量數(shù)據(jù)。公司一直希望通過(guò)真正理解這些信息，將那些擁有共同興趣的人有效連接起來(lái)，幫助用戶找到正在尋找的東西，賣出更多的廣告。

Facebook 已經(jīng)使用了用戶共享的人口數(shù)據(jù)信息。不過(guò)，F(xiàn)acebook 希望打造新的功能，追蹤網(wǎng)站上的所有信息，就像谷歌抓取整個(gè)互聯(lián)網(wǎng)信息并作出索引。對(duì)于Facebook 用戶來(lái)說(shuō)，這意味著，他們可以更加容易地找到埋藏在那些數(shù)以萬(wàn)億計(jì)博文中的有用信息，這就像去年谷歌開始使用人工智能，試圖真正理解用戶查詢，將真正相關(guān)的信息呈現(xiàn)在搜索結(jié)果中。

正如公司博文所介紹的：

文本，是Facebook 上流行的溝通方式。理解Facebook 上各種不同文本使用方式，有助于改善用戶體驗(yàn)，無(wú)論是讓更多用戶喜聞樂(lè)見的內(nèi)容呈現(xiàn)出來(lái)，還是過(guò)濾掉討厭的內(nèi)容，比如垃圾郵件。

去年，F(xiàn)acebook 已經(jīng)升級(jí)了自己的搜索功能，將更多的搜索結(jié)果包括進(jìn)來(lái)。比如，搜索“taco（墨西哥卷餅），你會(huì)得到包括朋友發(fā)的taco照片或者與taco有關(guān)的新聞報(bào)道。

不過(guò)，理論上，Deep Text 可以讓搜索更進(jìn)一步。

DeepText是一款基于深度學(xué)習(xí)的文本理解引擎，每秒能理解幾千篇博文內(nèi)容，語(yǔ)言種類多達(dá)20多種，準(zhǔn)確度近似人類水平。

比如，當(dāng)一些好友或者品牌上po 出與taco有關(guān)的內(nèi)容是，它可以分析出他們到底在說(shuō)什么，然后給出最有用的結(jié)果。比如，如果你想要知道哪里可以買到好的taco，它可能會(huì)分析你朋友當(dāng)中關(guān)于taco相關(guān)的博文中的內(nèi)容，給你推薦一家可以吃到taco的餐館。如果你在查詢taco對(duì)健康有哪些好處，他會(huì)推薦這方面的最新科學(xué)文章。

DeepText 充分利用了幾個(gè)深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，包括卷積和循環(huán)（recurrent）神經(jīng)網(wǎng)絡(luò)，并能完成以單詞、字符為基礎(chǔ)的學(xué)習(xí)任務(wù)。我們使用 Fb Learner Flow 和 Torch 進(jìn)行模型訓(xùn)練。通過(guò) FBLearner Predictor 平臺(tái)（提供可擴(kuò)展且可靠的分布式架構(gòu)），輕松點(diǎn)擊按鍵就能調(diào)用訓(xùn)練過(guò)的模型。Facebook 的工程師們能夠通過(guò)DeepText 提供的自助服務(wù)結(jié)構(gòu)，輕松打造新的 DeepText 模型。

為什么采用深度學(xué)習(xí)？

文本理解包括多項(xiàng)任務(wù)，比如，通過(guò)一般分類來(lái)決定某篇博文內(nèi)容是否與籃球有關(guān)——以及識(shí)別實(shí)體，比如演員名字以及其他有意義的信息。不過(guò)，想要接近人類的理解水平，我們需要讓計(jì)算機(jī)學(xué)會(huì)理解一些事情，比如俚語(yǔ)和語(yǔ)義消歧。比如，如果某人說(shuō)，「我喜歡 blackberry 」，這是指水果還是電子設(shè)備？

理解 Facebook 上的文本需要解決兩個(gè)難題：棘手的體量上的挑戰(zhàn)以及語(yǔ)言難題，傳統(tǒng)自然語(yǔ)言理解技術(shù)在這兩個(gè)問(wèn)題上沒(méi)效果。使用深度學(xué)習(xí)，我們可以更好地了解多種語(yǔ)言文本，在使用標(biāo)簽數(shù)據(jù)方面，也比傳統(tǒng)自然語(yǔ)言理解技術(shù)高效地多。DeepText 以深度學(xué)習(xí)為基礎(chǔ)，并延伸了其中思想，深度學(xué)習(xí)最初源自 Ronan Collobert 以及 Yann LeCun 的 Facebook AI Research。

1.更加快速地理解更多語(yǔ)言

Facebook 社區(qū)確實(shí)全球化，因此，對(duì) DeepText 來(lái)說(shuō)，盡可能多地理解不同語(yǔ)言很重要。傳統(tǒng)自然語(yǔ)言理解需要豐富的、建立在復(fù)雜工程學(xué)以及語(yǔ)言知識(shí)上的預(yù)處理邏輯。當(dāng)人們使用俚語(yǔ)或不同拼寫方式交流同一想法時(shí)，即使在同一種語(yǔ)言中，也會(huì)存在變化。使用了深度學(xué)習(xí)，我們就可以減少對(duì)語(yǔ)言依賴性知識(shí)的依靠，因?yàn)橄到y(tǒng)可以從文本中學(xué)習(xí)，幾乎不需要預(yù)處理。這有助于我們以最小的工程學(xué)成本迅速解決多語(yǔ)言問(wèn)題。

2. 更加深入地理解

在傳統(tǒng)自然語(yǔ)言處理方法中，語(yǔ)詞被轉(zhuǎn)為一種機(jī)器算法可以理解的形式。比如，「brother」可能用一個(gè)完整ID表示，比如4598，而「bro」可能會(huì)使用另一種表示，比如 986665。這種表征方式要求訓(xùn)練數(shù)據(jù)中，每一個(gè)會(huì)被看到、有具體拼寫的單詞都要得到理解。

如果使用深度學(xué)習(xí)，我們就可以使用「詞嵌入（word embeddings）」，一個(gè)保存單詞之間語(yǔ)義聯(lián)系的數(shù)學(xué)概念。因此，合理計(jì)算后，我們就可以看到「brother」和「bro」的詞嵌入距離很近。這類表征方式可以讓捕捉到更為深入的單詞語(yǔ)義意思。

使用字嵌入，我們還可以理解不同語(yǔ)言中的相同語(yǔ)義表達(dá)。比如，英語(yǔ)的「Happy birthday」和西班牙語(yǔ)的 「feliz cumpleaños」，在共同的嵌入空間中，彼此應(yīng)該非常接近。通過(guò)將語(yǔ)詞和短語(yǔ)映射到一個(gè)共同的嵌入空間，DeepText 就能建造起與語(yǔ)言無(wú)關(guān)（ language-agnostic）的模型。

3.標(biāo)簽數(shù)據(jù)的匱乏

書面語(yǔ)言，盡管具有上面提到的諸多變化，但是，通過(guò)使用無(wú)監(jiān)督學(xué)習(xí)，我們也可以從未標(biāo)簽文本中提取出許多結(jié)構(gòu)。深度學(xué)習(xí)為充分利用這些嵌入提供了好的框架，通過(guò)使用小規(guī)模的標(biāo)簽數(shù)據(jù)組，就能進(jìn)一步精細(xì)化它們。這是勝過(guò)傳統(tǒng)方法的顯著優(yōu)勢(shì)，后者通常需要大量人類標(biāo)簽過(guò)的數(shù)據(jù)，這不僅低效，也很難適應(yīng)新任務(wù)。在許多情況下，無(wú)監(jiān)督學(xué)習(xí)和監(jiān)督學(xué)習(xí)的結(jié)合，可以顯著提升效果，因?yàn)閺浹a(bǔ)了標(biāo)簽數(shù)據(jù)組的不足。

Facebook 上的探索

我們已經(jīng)在一些 Facebook 的使用體驗(yàn)中，測(cè)試 DeepText 了。例如，Messenger 現(xiàn)在能夠更好地了解某個(gè)人可能想去某個(gè)地方。DeepText 被用于感知用戶意圖和提取要點(diǎn)，當(dāng)用戶說(shuō)「我剛從出租車?yán)锍鰜?lái)」時(shí)，它能夠理解這句話與「我需要一輛車」的區(qū)別，從而不會(huì)誤解成用戶在找出租車。

DeepText 幫助 Messenger 識(shí)別用戶用車需求，并建議用戶使用Uber或Lyft

不過(guò)，鑒于 Tay 事件效應(yīng)，F(xiàn)acebook 機(jī)器學(xué)習(xí)團(tuán)隊(duì)的工程主管 Mehanna 并沒(méi)有確認(rèn)公司是否已經(jīng)將Deep Text 用于 M，一款以人工智能為基礎(chǔ)的虛擬助手。不過(guò)，他確實(shí)說(shuō)，Deep Text 「正在 Messenger 上緩慢而更加廣泛地鋪開?！?/p>

我們也開始使用高精確度、多語(yǔ)言的 DeepText 模型，來(lái)幫助人們尋找他們需要的工具。例如，用戶可能會(huì)發(fā)一條狀態(tài)說(shuō)「我的自行車 200 美元出售，有感興趣的嗎？」通過(guò)提煉售賣物品和價(jià)格等信息，DeepText 能夠發(fā)現(xiàn)這條狀態(tài)是關(guān)于售賣某樣?xùn)|西的，并向用戶推薦在 Facebook 平臺(tái)上的相關(guān)產(chǎn)品.

通過(guò)理解博文內(nèi)容，提取其中意圖、情感和實(shí)體（比如，人物、地點(diǎn)和事件），DeepText 有望進(jìn)一步提升FB 體驗(yàn)，使用混合的內(nèi)容信號(hào)，比如文本和圖片并自動(dòng)去除會(huì)被拒絕的內(nèi)容，比如垃圾郵件。許多名人和公眾人物都在使用 Facebook 與大家交流，這些互動(dòng)往往會(huì)產(chǎn)生幾百甚至上千條評(píng)論。要從這些不同語(yǔ)言的評(píng)論中找出最有關(guān)聯(lián)的內(nèi)容，同時(shí)保證評(píng)論質(zhì)量，到現(xiàn)在還是一個(gè)挑戰(zhàn)。所以， DeepText 還有可能解決的另一個(gè)難題就是，找出關(guān)聯(lián)性最高或最有質(zhì)量的評(píng)論。

下一步

我們不會(huì)停止改進(jìn) DeepText 的腳步，我們也在與 Facebook 的人工智能研究小組合作，探索它的應(yīng)用。以下是一些例子。

1.更好地了解人們的興趣所在

個(gè)性化 Facebook 用戶體驗(yàn)的任務(wù)之一，就是向用戶推薦他們感興趣的內(nèi)容。為了做到這一點(diǎn)，我們必須首先能夠?qū)⑷魏挝谋九c某一特定話題相關(guān)聯(lián)，而這需要大量的標(biāo)簽數(shù)據(jù)。

雖然這類數(shù)據(jù)集很難手動(dòng)生產(chǎn)，但是，我們正在嘗試通過(guò)公開的 Facebook 頁(yè)面，來(lái)生成含有半監(jiān)督標(biāo)簽的大型數(shù)據(jù)集。 我們有理由假定，這些頁(yè)面上的信息將代表一個(gè)專門話題——例如，Steelers 頁(yè)面的狀態(tài)會(huì)包括 Steelers 橄欖球隊(duì)的信息。我們用這類內(nèi)容訓(xùn)練一個(gè)我們稱為 PageSpace 的大眾興趣分類器（a general interest classifier），而它的技術(shù)核心就是 DeepText。反過(guò)來(lái)，這也將進(jìn)一步改善其他 Facebook 體驗(yàn)中的文本理解系統(tǒng)。也就是說(shuō)，團(tuán)隊(duì)會(huì)使用匹茲堡 Steelers 的頁(yè)面來(lái)學(xué)習(xí)人們?nèi)绾握務(wù)撁朗阶闱蛞约?Steelers。所有這種數(shù)據(jù)會(huì)幫助團(tuán)隊(duì)建立起一個(gè)了解人類在線聊天方式、以及語(yǔ)詞與句子聯(lián)系的人工智能系統(tǒng)。

2.文本的和視覺(jué)內(nèi)容的綜合理解

人們經(jīng)常會(huì)發(fā)一些含有圖片或視頻的狀態(tài)，并用文字來(lái)描述相關(guān)內(nèi)容。在這類情況下，了解用戶意圖離不開對(duì)文本和圖像內(nèi)容的共同理解。

例如，你的朋友發(fā)了一張自己的小寶寶的照片，然后在正文里寫「第 25 天」。無(wú)論是單看圖片，還是僅閱讀文本，都沒(méi)辦法搞清楚這篇博文到底什么意思。但是，如果一起分析圖片和文本，系統(tǒng)就可以根據(jù)經(jīng)驗(yàn)猜出內(nèi)容，這些經(jīng)驗(yàn)告訴系統(tǒng)，孩子是用戶貼出圖片的一部分，而且這位用戶每天都會(huì)貼出這樣的圖片，這張圖片不過(guò)是其中一分部。這樣，系統(tǒng)就能正確將這張博文劃分到標(biāo)題為「家庭新聞」的類別中，并將它展示給過(guò)去那些對(duì)用戶”家庭新聞“感興趣的好友們。

將圖像和文本結(jié)合之后，我們能很清楚地知道，這條狀態(tài)分享了家庭新添成員的信息。我們正在與 Facebook 的圖像內(nèi)容分析團(tuán)隊(duì)合作，來(lái)構(gòu)建能夠?qū)⑽谋竞蛨D像信息相結(jié)合的深度學(xué)習(xí)架構(gòu)。

3.新深度神經(jīng)網(wǎng)絡(luò)架構(gòu)

我們?cè)诔掷m(xù)地開發(fā)和尋找新的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)。雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（BRNNs）看起來(lái)可能會(huì)很有希望，因?yàn)樗鼈冇袃蓚€(gè)目標(biāo)，通過(guò)循環(huán)（recurrence）獲得單詞間的語(yǔ)境依存（contextual dependencies），以及通過(guò)卷積捕捉位置不變的（position-invariant）語(yǔ)義。比起用以分類的常規(guī)卷積或循環(huán)神經(jīng)網(wǎng)絡(luò)，我們發(fā)現(xiàn) BRNNs 在分類時(shí)的錯(cuò)誤率更低；有時(shí)錯(cuò)誤率甚至只有 20%。

將深度學(xué)習(xí)技術(shù)應(yīng)用于文本理解，會(huì)繼續(xù)提升 Facebook 的產(chǎn)品和用戶體驗(yàn)質(zhì)量，而反過(guò)來(lái)也是如此。對(duì)文本理解系統(tǒng)來(lái)說(shuō)，F(xiàn)acebook 產(chǎn)生的非結(jié)構(gòu)化數(shù)據(jù)，是它們從語(yǔ)言中自動(dòng)學(xué)習(xí)的絕好機(jī)會(huì)，因?yàn)槭褂貌煌Z(yǔ)言的人都會(huì)自然用到它，而這也會(huì)進(jìn)一步推動(dòng)最先進(jìn)的自然語(yǔ)言處理技術(shù)。

Hussein Mehana 說(shuō)，「朝著打造能智能地與人類交流的機(jī)器，我們又邁出了一步。」不過(guò)，對(duì)于 Facebook 最受歡迎的產(chǎn)品，從Messenger 到 新聞推送來(lái)說(shuō)，Deep Text 帶來(lái)的變革到底有多深，還有待觀察。

最后，記得關(guān)注微信公眾號(hào)：鎂客網(wǎng)（im2maker），更多干貨在等你！