近來機器學(xué)習(xí)領(lǐng)域?qū)崿F(xiàn)了很多重大的進(jìn)展，這些進(jìn)展讓計算機系統(tǒng)具備了解決復(fù)雜的真實世界問題的能力。其中，谷歌的機器學(xué)習(xí)又是怎樣的 ？

【編者按】本文來源于機器之心，作者：Sujith Ravi，翻譯：吳攀

近來機器學(xué)習(xí)領(lǐng)域?qū)崿F(xiàn)了很多重大的進(jìn)展，這些進(jìn)展讓計算機系統(tǒng)具備了解決復(fù)雜的真實世界問題的能力。其中之一是谷歌的大規(guī)模的、基于圖（graph-based）的機器學(xué)習(xí)平臺，該平臺由Google Research的Expander團(tuán)隊打造。

基于圖的機器學(xué)習(xí)支持著你可能每天都在使用的谷歌產(chǎn)品和功能，這項技術(shù)是一種強大的工具，可以被用于驅(qū)動Inbox的提醒功能和Allo的智能回復(fù)，或者與深度神經(jīng)網(wǎng)絡(luò)聯(lián)合使用以驅(qū)動Google Photos最新的圖像識別系統(tǒng)。

用最少的監(jiān)督進(jìn)行學(xué)習(xí)

深度學(xué)習(xí)以及廣義上的機器學(xué)習(xí)領(lǐng)域內(nèi)的許多近來的進(jìn)步都可歸功于經(jīng)過了在有標(biāo)注的大數(shù)據(jù)集上的訓(xùn)練之后具有高度預(yù)測能力的模型——其訓(xùn)練樣本數(shù)量往往數(shù)以億計。這常常被稱為監(jiān)督學(xué)習(xí)（supervised learning），因為它需要監(jiān)督（以有標(biāo)注數(shù)據(jù)的形式）來訓(xùn)練機器學(xué)習(xí)系統(tǒng)。（相對地，一些機器學(xué)習(xí)方法則是直接運行在原始數(shù)據(jù)上，不需要任何監(jiān)督，這種范式被稱為無監(jiān)督學(xué)習(xí)（unsupervised learning）。）

但是，任務(wù)越困難，獲得足夠的高質(zhì)量有標(biāo)注數(shù)據(jù)的難度就越大。為每一個新問題都收集足夠的有標(biāo)注數(shù)據(jù)在人力消耗和時間消耗上都是讓人無法接受的。這促使了Expander研究團(tuán)隊研發(fā)只需最少的監(jiān)督就能驅(qū)動大規(guī)模機器學(xué)習(xí)應(yīng)用的新技術(shù)。

Expander的技術(shù)靈感來自于人類學(xué)習(xí)歸納和將從未見過的新信息（無標(biāo)注的信息）與他們已經(jīng)知道的信息（有標(biāo)注的信息）聯(lián)系起來的方式。這被稱為半監(jiān)督學(xué)習(xí)（semi-supervised learning），這種強大的技術(shù)讓我們可以打造出能工作在訓(xùn)練數(shù)據(jù)可能很稀疏的情況下的系統(tǒng)?；趫D的半監(jiān)督機器學(xué)習(xí)（graph-based semi-supervised machine learning）方法這一進(jìn)步的關(guān)鍵是：

(a) 利用數(shù)據(jù)中的底層結(jié)構(gòu)，可以在學(xué)習(xí)過程中對有標(biāo)注和無標(biāo)注數(shù)據(jù)聯(lián)合建模；

(b) 可以輕松地將多種類型的信號（如來自知識圖譜的關(guān)系信息和數(shù)據(jù)的原始特征）結(jié)合成一個單一的圖表征（graph representation）并在那些數(shù)據(jù)上進(jìn)行學(xué)習(xí)。

這與神經(jīng)網(wǎng)絡(luò)等其它機器學(xué)習(xí)方法不一樣——其它方法通常是首先先使用帶有特征的有標(biāo)注數(shù)據(jù)訓(xùn)練出一個系統(tǒng)，然后將訓(xùn)練出的系統(tǒng)應(yīng)用于無標(biāo)注數(shù)據(jù)。

圖學(xué)習(xí)：工作方式

在 Expander 的平臺的核心，它通過構(gòu)建數(shù)據(jù)的一個多圖表征（multi-graph representation）而將半監(jiān)督機器學(xué)習(xí)和大規(guī)模的基于圖的學(xué)習(xí)結(jié)合到了一起；在這個多圖表征中，節(jié)點（node）對應(yīng)于物體或概念，邊（edge）則對應(yīng)于具有相似之處的概念之間的連接。這種圖（graph）通常既包含了有標(biāo)注數(shù)據(jù)（與已知輸出類別和標(biāo)簽關(guān)聯(lián)的節(jié)點）和無標(biāo)注數(shù)據(jù)（沒有被提供標(biāo)簽的節(jié)點）。然后Expander的框架執(zhí)行半監(jiān)督學(xué)習(xí)以通過在整個圖中傳播標(biāo)簽信息而聯(lián)合地給所有的節(jié)點進(jìn)行標(biāo)注。

但是，說起來比做起來容易！我們必須：

1. 使用最少的監(jiān)督（即：極少有標(biāo)注數(shù)據(jù)）實現(xiàn)有效的規(guī)模化學(xué)習(xí)；

2. 運行在多模態(tài)數(shù)據(jù)上（即：異構(gòu)的表征和各種類型的數(shù)據(jù)源）；

3. 解決涉及可能帶有噪聲的高維數(shù)據(jù)的高難度預(yù)測任務(wù)（即：大而復(fù)雜的輸出空間）。

整個學(xué)習(xí)過程中的一個主要成分是圖和連接的選擇。圖有各種規(guī)模大小和形狀，可以從多個數(shù)據(jù)源結(jié)合而成。我們已經(jīng)觀察到從結(jié)合了多種數(shù)據(jù)表征（如：圖像像素、物體類別和用于Allo中PhotoReply的聊天回應(yīng)信息）的信息的多圖（multi-graphs）中學(xué)習(xí)往往是有利的。Expander團(tuán)隊的圖學(xué)習(xí)平臺可以基于數(shù)據(jù)元素之間推理出的和已知的關(guān)系直接從數(shù)據(jù)中自動生成圖。其數(shù)據(jù)可以是結(jié)構(gòu)化的（如關(guān)系數(shù)據(jù)），也可以是非結(jié)構(gòu)化的（如從原始數(shù)據(jù)集提取出的稀疏或稠密的特征表征）。

要理解Expander的系統(tǒng)的學(xué)習(xí)方式，讓我們思考一下下面這個例子。

該圖中有兩種類型的節(jié)點：“灰色”代表無標(biāo)注數(shù)據(jù)，而其它顏色則代表有標(biāo)注數(shù)據(jù)。節(jié)點數(shù)據(jù)之間的關(guān)系通過邊表示，每條邊的厚度代表連接的強度。我們可以將這個簡單圖的半監(jiān)督學(xué)習(xí)問題描述成：預(yù)測圖中每個節(jié)點的顏色（紅色或藍(lán)色）。注意：圖的結(jié)構(gòu)和顏色的特定選擇是根據(jù)任務(wù)確定的。比如，正如我們在研究論文《Smart Reply: Automated Response Suggestion for Email》中提到的，我們?yōu)镮nbox的Smart Reply功能構(gòu)建的圖可將電子郵件信息表示成節(jié)點，而顏色則可代表用戶回應(yīng)的語義類別（如，“yes”、“awesome”、“funny”）。

Expander圖學(xué)習(xí)框架通過將這個標(biāo)注任務(wù)當(dāng)作是一個優(yōu)化問題進(jìn)行處理而解決了這個問題。從最簡單的層面上講，它會為圖的每個節(jié)點分配一個顏色標(biāo)簽，并根據(jù)節(jié)點之間的連接強度給相鄰的節(jié)點分配相似的顏色。解決這個問題的一種天真的方式是嘗試一次性為所有節(jié)點學(xué)習(xí)一個標(biāo)簽分配——但這種方法無法擴(kuò)展到大型的圖。相反，我們可以通過將有標(biāo)注節(jié)點的顏色傳播到它們的相鄰節(jié)點，并不斷重復(fù)這個過程來優(yōu)化這個問題的形式。在每一步中，都會通過檢查一個無標(biāo)注節(jié)點的相鄰節(jié)點的顏色配置而給其分配一個標(biāo)簽。我們可以以這種方式更新每一個節(jié)點的標(biāo)簽，并不斷迭代直到整個圖都被標(biāo)注上顏色。在優(yōu)化這種問題上，這個過程是一種遠(yuǎn)遠(yuǎn)更為有效的方法；而且在這個案例中，迭代的序列會收斂成一個特定的解決方案。在圖傳播的最后的解決方案看起來像是這樣的：

在一個圖上的半監(jiān)督學(xué)習(xí)

實際上，我們可以使用根據(jù)圖結(jié)構(gòu)定義的復(fù)雜優(yōu)化函數(shù)，其整合了額外的信息和限制，使半監(jiān)督學(xué)習(xí)可以應(yīng)對困難的非凸問題。但是，真正的難題是將其有效地擴(kuò)展到包含了數(shù)十億個節(jié)點和數(shù)萬億條邊，用于處理涉及到數(shù)十億不同標(biāo)簽類型的復(fù)雜任務(wù)的圖。

為了解決這一難題，我們創(chuàng)造了一種被稱為“使用流逼近的大規(guī)模分布式半監(jiān)督學(xué)習(xí)（Large Scale Distributed Semi-Supervised Learning Using Streaming Approximation）”的方法，該論文發(fā)表于去年。它介紹了一種流算法（streaming algorithm），該算法可以以一種分布式的方式處理從相鄰節(jié)點傳播來的信息，這種方式使其能夠工作在非常大型的圖上。此外，它還能解決其它實際的問題，其中值得注意的是它能夠確保系統(tǒng)的空間復(fù)雜性或內(nèi)存需求保持恒定，而且不論任務(wù)的難度如何都可以；即：不論預(yù)測標(biāo)簽的數(shù)量是2（如上面示意的圖）還是100萬甚至是10億，整個系統(tǒng)所使用的內(nèi)存量都一樣。這能使自然語言處理、機器感知、用戶建模和甚至聯(lián)合多模態(tài)學(xué)習(xí)在涉及文本、圖像和視頻輸入等多模態(tài)數(shù)據(jù)的任務(wù)上的廣泛應(yīng)用成為現(xiàn)實。

用于學(xué)習(xí)幽默的語言圖

情緒標(biāo)注（emotion labeling）是基于圖的機器學(xué)習(xí)的一個應(yīng)用案例，這也是Inbox的Smart Reply功能的一個語言理解任務(wù)，其目標(biāo)是使用它們經(jīng)過精細(xì)調(diào)節(jié)的情緒分類標(biāo)記自然語言文本中出現(xiàn)的詞。首先是在文本語料庫上應(yīng)用一個神經(jīng)網(wǎng)絡(luò)模型來學(xué)習(xí)詞嵌入（word embeddings），這是每個詞的含義的數(shù)學(xué)向量表示。然后這個稠密的嵌入向量被用于構(gòu)建一個稀疏的圖，其中的節(jié)點對應(yīng)于詞，而邊對應(yīng)于詞之間的語義關(guān)系。邊的強度通過嵌入向量之間的相似度計算得到——忽略低相似度的邊。我們使用先前已知的幾個節(jié)點的情緒標(biāo)簽（例如：laugh被標(biāo)注為“funny”）作為圖的基礎(chǔ)，然后在整個圖上應(yīng)用半監(jiān)督學(xué)習(xí)來發(fā)現(xiàn)剩余詞的情緒類別（如：ROTFL（滾地大笑）被標(biāo)注為“funny”，因為它有與“laugh”的多跳語義連接（multi-hop semantic connection）。

使用構(gòu)建于詞嵌入向量的圖學(xué)習(xí)情緒關(guān)聯(lián)

對于涉及大型數(shù)據(jù)集或稠密表征（可被觀察到（如圖像的像素）或使用神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)到（如嵌入向量））的應(yīng)用而言，計算所有物體之間的成對的相似度來構(gòu)建圖中的邊是不可行的。Expander團(tuán)隊通過利用近似的線性時間圖構(gòu)建算法（linear-time graph construction algorithms）解決了這個問題。

基于圖的機器智能在行動

Expander團(tuán)隊的機器學(xué)習(xí)系統(tǒng)現(xiàn)在已經(jīng)被用在了大型圖（包含數(shù)十億節(jié)點和數(shù)萬億邊）上，以識別和理解自然語言、圖像、視頻和查詢中的概念，并支撐著谷歌的許多應(yīng)用和產(chǎn)品，其中包括：提醒、問答、語言翻譯、視覺物體世界、對話理解等等。

隨著近期Allo的發(fā)布，數(shù)百萬聊天用戶現(xiàn)在已經(jīng)可以體驗Expander團(tuán)隊的系統(tǒng)所驅(qū)動的智能消息技術(shù)了，這些技術(shù)可以理解和協(xié)助多種語言的聊天會話。另外，這項技術(shù)不只被用在了云端的大規(guī)模模型中——正如上周宣布的那樣，Android Wear已經(jīng)向開發(fā)者開放了設(shè)備本地的Smart Reply功能，讓開發(fā)者可以為任何消息應(yīng)用提供智能回復(fù)。我們很期待在未來幾年內(nèi)通過Expander解決更多充滿挑戰(zhàn)性的互聯(lián)網(wǎng)規(guī)模級的問題。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！