人工智能曾經(jīng)讓人們失望了幾十年，最終，它追趕上了自己的早期承諾，這要感謝強(qiáng)大的深度學(xué)習(xí)技術(shù)。

【編者按】本文作者：Yoshua Bengio，由機(jī)器之心編譯，參與：陳剛、劉宗堯、吳攀、李超平、孫睿、微胖

人工智能曾經(jīng)讓人們失望了幾十年，最終，它追趕上了自己的早期承諾，這要感謝強(qiáng)大的深度學(xué)習(xí)技術(shù)。

20 世紀(jì) 50 年代，計(jì)算機(jī)開始在象棋領(lǐng)域戰(zhàn)勝人類，證明數(shù)學(xué)定理，讓人類狂喜不已。60年代，人們越來越希望，不久以后，科學(xué)家就能用硬件和軟件復(fù)制人類大腦，「人工智能」可以完成任何任務(wù)，其表現(xiàn)不遜于人類。1967年，今年年初逝世的麻省理工學(xué)院教授 Marvin Minsky（MIT 人工智能實(shí)驗(yàn)室的聯(lián)合創(chuàng)始人，人工智能先驅(qū)）宣稱，十年之內(nèi)，人們可以解決人工智能這個(gè)難題。

當(dāng)然，結(jié)果表明，當(dāng)時(shí)就持有那份樂觀主義，有些過早。被設(shè)計(jì)用來協(xié)助外科醫(yī)生更好診斷病人的軟件，以及模擬人類大腦、用來識(shí)別圖片內(nèi)容的網(wǎng)絡(luò)，都辜負(fù)了人工智能發(fā)展初期的那份狂熱。早些年，人工智能算法并不成熟，所需數(shù)據(jù)也比當(dāng)時(shí)可以提供的數(shù)據(jù)還要多。計(jì)算機(jī)處理過程也很慢，以至于無法驅(qū)動(dòng)計(jì)算機(jī)完成接近人類思維復(fù)雜性的大規(guī)模運(yùn)算。

到了21世紀(jì)中期，打造媲美人類智能水平的機(jī)器之夢，幾乎從科學(xué)界消失了。當(dāng)時(shí)，甚至「人工智能（AI）」這一表達(dá)，都不再是嚴(yán)肅科學(xué)領(lǐng)域的用語。20世紀(jì)70年代到21世紀(jì)中期，這段希望破滅時(shí)期，被科學(xué)家和作家們形容為一連串的「人工智能之冬」。

十年能發(fā)生多大的變化啊。2005年初，人工智能的前景發(fā)生了引人注目的改變。當(dāng)時(shí)，深度學(xué)習(xí)，這種靈感源自腦科學(xué)、打造智能機(jī)器的方法，開始取得成功。近些年來，深度學(xué)習(xí)已經(jīng)成為推動(dòng)人工智能研究向前的奇特（singular）力量?，F(xiàn)在，一些主要的信息技術(shù)公司也正投入數(shù)十億美元，發(fā)展深度學(xué)習(xí)技術(shù)。

深度學(xué)習(xí)，是指模擬神經(jīng)網(wǎng)絡(luò)，自己逐漸「學(xué)會(huì)」識(shí)別圖像，理解語音甚至做出決策。這一技術(shù)依賴的是所謂的人工神經(jīng)網(wǎng)絡(luò)——目前人工智能研究的核心部分。人工神經(jīng)網(wǎng)絡(luò)，并不是精確模擬真實(shí)的神經(jīng)元運(yùn)作方式。而是以一般數(shù)學(xué)原理為基礎(chǔ)，這些數(shù)學(xué)原理能夠幫助網(wǎng)絡(luò)從實(shí)例中學(xué)習(xí)，識(shí)別出圖片中的物體或人，翻譯世界主要語言。

深度學(xué)習(xí)技術(shù)，已經(jīng)變革了人工智能研究，重拾對計(jì)算機(jī)視覺、語音識(shí)別、自然語言處理以及機(jī)器人學(xué)的雄心。2012年，首次展示了第一款用于理解語音的人工智能產(chǎn)品——你可能對 Google Now 比較熟悉。緊接著，又出現(xiàn)了可以識(shí)別圖片內(nèi)容的應(yīng)用，這一功能已經(jīng)被吸收到谷歌相冊的搜索引擎中。

任何一個(gè)對繁冗的自動(dòng)手機(jī)菜單感到沮喪的人都能體會(huì)，一款更好的智能手機(jī)私人助理會(huì)讓操作變得多么便利。有些人記得幾年前，在識(shí)別圖片中的物體方面，人工智能的表現(xiàn)有多糟糕——當(dāng)時(shí)的軟件可能會(huì)把無生命的物品識(shí)別成動(dòng)物——在這些人看來，計(jì)算機(jī)視覺上的進(jìn)步，難以置信：在一定條件下，現(xiàn)在的計(jì)算機(jī)可以識(shí)別出貓、勢頭或者臉部以及人?，F(xiàn)在，人工智能軟件實(shí)際上已經(jīng)成為數(shù)百萬智能手機(jī)用戶的生活的一部分。就我個(gè)人而言，已經(jīng)很少手動(dòng)鍵入信息，而是直接對手機(jī)說出命令，有時(shí)候它甚至能給我反饋。

這些進(jìn)步已經(jīng)突然為技術(shù)的進(jìn)一步商業(yè)化打開了大門，而且興奮度也有增無減。公司的人才爭奪戰(zhàn)也十分激烈，深度學(xué)習(xí)領(lǐng)域的博士極度供不應(yīng)求。許多該領(lǐng)域的大學(xué)教授——據(jù)某些統(tǒng)計(jì)，是大部分教授——都從學(xué)術(shù)界跳槽到了產(chǎn)業(yè)中，公司為他們配備了齊全的研究設(shè)備，還有豐厚的薪資。

解決深度學(xué)習(xí)的難題，已經(jīng)帶來讓人吃驚的成功。神經(jīng)網(wǎng)絡(luò)擊敗頂尖圍棋選手李世石的消息，登上了新聞?lì)^條。相關(guān)應(yīng)用已經(jīng)延伸到其他人類專長的領(lǐng)域——而且這還是不是游戲的全部。一項(xiàng)新研發(fā)的深度學(xué)習(xí)算法，旨在根據(jù)磁共振成像診斷心臟衰竭，就像心臟病專家那樣。

智能、知識(shí)和學(xué)習(xí)

人工智能，為什么會(huì)在之前的幾十年中遇到了很多阻礙？原因是，我們對世界的絕大部分認(rèn)知，都并不會(huì)通過書面語言清清楚楚地、像一系列任務(wù)一樣描述出來——而這恰恰是編寫計(jì)算機(jī)程序所必需的步驟。這就是為什么我們還無法直接讓計(jì)算機(jī)完成很多人類可以輕而易舉完成的事情——不論是理解演講、圖像、語言還是駕駛汽車。而類似的嘗試——在詳盡數(shù)據(jù)庫中組織事實(shí)集，為計(jì)算機(jī)注入智能（organizing sets of facts in elaborate databases to imbue computers with a facsimile of intelligence）——也都不太成功。

那正好是深度學(xué)習(xí)的用武之地。它是更廣泛的人工智能領(lǐng)域（亦即機(jī)器學(xué)習(xí)）的一部分。它的基礎(chǔ)是用來訓(xùn)練智能計(jì)算系統(tǒng)的基本原則，目標(biāo)是讓機(jī)器實(shí)現(xiàn)自學(xué)。這些基本原則之一與人類或機(jī)器所認(rèn)為的「好」相關(guān)。對動(dòng)物而言，進(jìn)化論原則決定了它們應(yīng)該做出優(yōu)化生存、繁衍機(jī)會(huì)的決定。對人類社會(huì)來說，一個(gè)好的決定可能包括一些能夠帶來某種幸福表現(xiàn)的社會(huì)活動(dòng)。而對于機(jī)器來說，比如無人駕駛汽車，決策的質(zhì)量取決于自助車輛模仿人類司機(jī)行為的程度。

在特定語境中，是否能將作一個(gè)好決定所需要的知識(shí)翻譯成計(jì)算機(jī)代碼，并不一定顯而易見。例如，一只老鼠了解它所在的環(huán)境，也本能知道往哪里嗅，如何移動(dòng)它的腿，尋找食物或者配偶，躲避捕食者。沒有程序員能詳細(xì)描述這套行動(dòng)指令的每一步，進(jìn)而生成這些行為。但是，這些知識(shí)的確被編碼進(jìn)了這些嚙齒類動(dòng)物的大腦中。

在創(chuàng)建出可以訓(xùn)練自己的計(jì)算機(jī)之前，計(jì)算機(jī)科學(xué)家需要回答人類如何獲取知識(shí)等基本問題。有些知識(shí)是天生的，但大多數(shù)是從經(jīng)驗(yàn)中習(xí)得的。我們的知識(shí)本來就無法轉(zhuǎn)化為計(jì)算機(jī)執(zhí)行的一系列清晰步驟，但是，可以時(shí)常從樣本和實(shí)踐中習(xí)得。上世紀(jì)五十年代依賴，研究人員已經(jīng)在尋找并試著重新定義一些基本原則，這些基本原則允許動(dòng)物或人——甚至機(jī)器——通過經(jīng)驗(yàn)獲取知識(shí)。機(jī)器學(xué)習(xí)旨在建立起學(xué)習(xí)步驟，也就是所謂的學(xué)習(xí)算法，它能讓一臺(tái)機(jī)器從給定的樣本中學(xué)習(xí)。

機(jī)器學(xué)習(xí)科學(xué)，在很大程度上是實(shí)驗(yàn)性的，因?yàn)椴淮嬖谕ㄓ脤W(xué)習(xí)算法——沒有能夠讓計(jì)算機(jī)學(xué)好每項(xiàng)給定任務(wù)的算法。任何知識(shí)獲取的算法，都需要根據(jù)針對手頭情況的數(shù)據(jù)和學(xué)習(xí)任務(wù)加以測試，是否能夠識(shí)別日落，或者將英語翻譯成烏爾都語。我們無法證明，在任何給定情況下，這個(gè)算法都始終、全面優(yōu)于任何其他算法。

對于這個(gè)原則，人工智能研究人員已經(jīng)有了正式的數(shù)學(xué)描述——「沒有免費(fèi)午餐」定理——定理證實(shí)，不存在能夠解決每一個(gè)真實(shí)世界學(xué)習(xí)情境（learning situation）的算法。然而，人類行為顯然與這一定理相悖。我們的大腦看起來具有相當(dāng)?shù)膶W(xué)習(xí)能力，能夠讓我們精通大量祖先無法掌握的技能（因?yàn)檠莼合缕?、架橋或者做人工智能研究?/p>

這些能力表明，人類智能充分利用了關(guān)于世界的一般假設(shè)，這種假設(shè)可以被用作打造一種通用智能機(jī)器的靈感之源。正是出于這一原因，人工神經(jīng)網(wǎng)絡(luò)的開發(fā)者們已經(jīng)將大腦作為設(shè)計(jì)智能系統(tǒng)的粗略模型。

大腦的主要計(jì)算單位是神經(jīng)元細(xì)胞。每個(gè)神經(jīng)元通過微小的細(xì)胞間隙（(軸突之間的突觸間隙）向其他神經(jīng)元發(fā)出信號。一個(gè)神經(jīng)元傾向發(fā)出一個(gè)可以跨越間隙的信號的特性——以及那個(gè)信號的幅度——被稱為一個(gè)突觸強(qiáng)度（synaptic strength）。神經(jīng)元一邊「學(xué)習(xí)」，它的突觸強(qiáng)度也在一邊變大，因此，當(dāng)受到電子脈沖刺激時(shí)，更容易向沿路相鄰神經(jīng)元發(fā)出信息。

腦科學(xué)對使用軟件或硬件打造虛擬神經(jīng)元的人工神經(jīng)網(wǎng)絡(luò)的興起，產(chǎn)生了影響。人工智能子領(lǐng)域中的早期研究人員，以聯(lián)結(jié)主義（connectionism）著稱，認(rèn)為這是理所當(dāng)然的：通過逐漸改變神經(jīng)元之間的鏈接以便神經(jīng)活動(dòng)模式可以捕捉到輸入內(nèi)容（比如一張圖像或者一段對話），神經(jīng)網(wǎng)絡(luò)就能學(xué)會(huì)完成復(fù)雜任務(wù)。當(dāng)這些網(wǎng)絡(luò)接收到更加復(fù)雜的實(shí)例時(shí)，通過改變連接神經(jīng)元之間的突觸強(qiáng)度，學(xué)習(xí)過程就能繼續(xù)下去，并最終更加準(zhǔn)確地表征出內(nèi)容，比如，日落的圖像。

日落的教訓(xùn)

當(dāng)前一代神經(jīng)網(wǎng)絡(luò)是聯(lián)結(jié)主義開創(chuàng)性工作的延伸。這種神經(jīng)網(wǎng)絡(luò)能逐漸改變每一個(gè)突觸連接的數(shù)值，這些數(shù)值代表了連接的強(qiáng)度，即一個(gè)神經(jīng)元有多大可能性能將一個(gè)信號傳遞給另一個(gè)神經(jīng)元。深度學(xué)習(xí)網(wǎng)絡(luò)所使用的算法，在每次觀察到新圖像時(shí)都會(huì)輕微改變這些值。每個(gè)這些值都會(huì)逐漸接近能讓該神經(jīng)網(wǎng)絡(luò)更好預(yù)測圖像內(nèi)容的值。

為了達(dá)到最好效果，當(dāng)前的學(xué)習(xí)算法需要人類的密切參與。這些算法中大部分都使用監(jiān)督式學(xué)習(xí)，其中每一個(gè)樣本都有人類制作的關(guān)于其學(xué)習(xí)內(nèi)容的標(biāo)簽——比如，一張日落的照片會(huì)和「日落」的標(biāo)題相關(guān)聯(lián)。在這個(gè)例子中，監(jiān)督式學(xué)習(xí)算法的目標(biāo)是拍攝一張照片作為輸入，然后得出圖像中關(guān)鍵對象名稱的輸出。這個(gè)輸入到輸出的數(shù)學(xué)轉(zhuǎn)換過程被稱為函數(shù)（function）。得出這一函數(shù)的那些數(shù)值——比如突觸強(qiáng)度——對應(yīng)著一個(gè)解決該學(xué)習(xí)任務(wù)的方案。

通過死記硬背的學(xué)習(xí)方式得到正確答案會(huì)很容易，但卻沒什么用。我們希望教會(huì)該算法理解「日落」是什么，然后，讓其可以識(shí)別任何日落圖像，甚至是那些其從未在訓(xùn)練中遇到過的圖像。這種辨別任何日落景象的能力——換句話說，超越特定樣本的概括性學(xué)習(xí)的能力——是所有機(jī)器學(xué)習(xí)算法的主要目標(biāo)。事實(shí)上，任何網(wǎng)絡(luò)訓(xùn)練質(zhì)量的評估方式，都是使用其之前從未見過的樣本對其進(jìn)行測試。對新樣本進(jìn)行正確歸納有很大的難度，因?yàn)閷?yīng)于任何分類（如日落）的可能變化的集合都幾乎是無限的。

為了從眾多被觀察樣本中進(jìn)行成功歸納，用在深度學(xué)習(xí)網(wǎng)絡(luò)中的學(xué)習(xí)算法所需的不僅僅是樣本本身，還依賴于關(guān)于數(shù)據(jù)的假設(shè)以及對于一個(gè)特定問題可能的解決方案的假設(shè)。一個(gè)構(gòu)建于軟件中的典型假設(shè)可能會(huì)假定：如果特定函數(shù)的數(shù)據(jù)輸入是相似的，那么，輸出也不應(yīng)該出現(xiàn)徹底的改變——改變一張貓圖像上的幾個(gè)像素不應(yīng)該將被識(shí)別的動(dòng)物變成狗。

一種整合了對圖像的假設(shè)的神經(jīng)網(wǎng)絡(luò)被稱為卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network），它已經(jīng)變成了助力人工智能復(fù)興的關(guān)鍵技術(shù)。深度學(xué)習(xí)所采用的卷積神經(jīng)網(wǎng)絡(luò)，有許多層按某種方式組織起來的神經(jīng)元，這樣可以降低輸出對變化圖像中的主要對象的敏感度，比如，當(dāng)其位置輕微移動(dòng)時(shí)——一個(gè)訓(xùn)練良好的網(wǎng)絡(luò)可能能從不同照片中的不同角度識(shí)別一張臉。卷積網(wǎng)絡(luò)的設(shè)計(jì)靈感來自多層結(jié)構(gòu)的視覺皮層——我們大腦中接收眼睛輸入的部分。卷積神經(jīng)網(wǎng)絡(luò)中許多層的虛擬神經(jīng)元是讓網(wǎng)絡(luò)「（具有）深度」的原因，也因此能讓其更好地理解周圍的世界。

走向深度

在實(shí)際應(yīng)用層面上，十年前出現(xiàn)的一些特定創(chuàng)新讓深度學(xué)習(xí)成為可能，那時(shí)，人們對人工智能和神經(jīng)網(wǎng)絡(luò)的興趣已經(jīng)降到了數(shù)十年來的最低點(diǎn)。一個(gè)由政府和私人捐助者資助的加拿大組織加拿大高等研究院（CIFAR）通過贊助一個(gè)由多倫多大學(xué)的 Georey Hinton 領(lǐng)導(dǎo)的項(xiàng)目重新點(diǎn)燃了人們的興趣。該項(xiàng)目成員還包括紐約大學(xué)的 Yann LeCun、斯坦福大學(xué)的吳恩達(dá)、加州大學(xué)伯克利分校的 Bruno Olshausen、我和其他一些人。那時(shí)候，人們對這一領(lǐng)域的消極態(tài)度使發(fā)表論文、甚至說服研究生從事這方面的研究都很困難，但我們幾個(gè)人強(qiáng)烈地認(rèn)為向前邁進(jìn)是很重要的。

那時(shí)候，人們對神經(jīng)網(wǎng)絡(luò)持懷疑態(tài)度的部分原因是人們相信訓(xùn)練它們是毫無希望的，因?yàn)?，在?yōu)化它們的行為方式上存在著許多挑戰(zhàn)。優(yōu)化（optimization）是數(shù)學(xué)的一個(gè)分支，其作用是嘗試尋找實(shí)現(xiàn)某個(gè)數(shù)學(xué)目標(biāo)的參數(shù)配置。在神經(jīng)網(wǎng)絡(luò)中，這些參數(shù)被稱為突觸權(quán)重（synaptic weight），代表了一個(gè)信號被從一個(gè)神經(jīng)元發(fā)送至另一個(gè)神經(jīng)元的強(qiáng)度。

其目的是得出錯(cuò)誤量最小的預(yù)測。當(dāng)參數(shù)和目標(biāo)之間的關(guān)系足夠簡單時(shí)——當(dāng)目標(biāo)是參數(shù)的一個(gè)的凸函數(shù)時(shí)，更為精確——參數(shù)可以逐步得到調(diào)整。然后，持續(xù)調(diào)整直到得到能產(chǎn)出盡可能好的選擇的參數(shù)值；這個(gè)最好的選擇被稱為全局極小值（global minimum）——其對應(yīng)于網(wǎng)絡(luò)做出的最低可能的平均預(yù)測誤差。

然而，在一般情況下，訓(xùn)練神經(jīng)網(wǎng)絡(luò)并非那么簡單——并且需要所謂的非凸優(yōu)化（nonconvex optimization）。這種類型的優(yōu)化帶來了更大的挑戰(zhàn)——而且許多研究者相信這個(gè)障礙是不可逾越的。學(xué)習(xí)算法會(huì)受限于所謂的局部極小值（local minimum），在這種情況中，它不能通過稍微調(diào)整參數(shù)來減少預(yù)測誤差。

直到去年，神經(jīng)網(wǎng)絡(luò)因?yàn)榫植繕O小值而難以訓(xùn)練的迷思才被解決。在我們的研究中，我們發(fā)現(xiàn)當(dāng)一個(gè)神經(jīng)網(wǎng)絡(luò)足夠大時(shí)，局部極小值問題會(huì)大大減少。大部分局部極小值實(shí)際上都對應(yīng)于在某個(gè)水平上學(xué)到的知識(shí)——該水平與全局極小值的最優(yōu)值基本上是匹配的。

盡管理論上，優(yōu)化的理論難題可以得到解決，但是，構(gòu)建超過兩層或三層的大型網(wǎng)絡(luò)通常以失敗告終。2005 年年初，CIFAR 支持下的努力取得突破，成功克服了這些障礙。2006 年，我們使用一種層上疊層的技術(shù)成功訓(xùn)練了更深度的神經(jīng)網(wǎng)絡(luò)。

后來，在 2011 年，我們發(fā)現(xiàn)了一種更好的方法以用于訓(xùn)練更深度的網(wǎng)絡(luò)——有更多虛擬神經(jīng)元層的方法——通過修改每個(gè)這些處理單元所進(jìn)行的計(jì)算，讓它們更像是生物神經(jīng)元實(shí)際上所進(jìn)行的計(jì)算。我們也發(fā)現(xiàn)，在訓(xùn)練中將隨機(jī)噪聲注入神經(jīng)元之間傳遞的信號（類似于大腦中的情況）能讓它們更好地學(xué)習(xí)正確地識(shí)別圖像或聲音。

有兩個(gè)關(guān)鍵技術(shù)幫助實(shí)現(xiàn)了深度學(xué)習(xí)技術(shù)的成功。一是最初為視頻游戲設(shè)計(jì)的圖形處理單元讓計(jì)算速度直接提升了 10 倍，這樣，我們就可以在一個(gè)合理時(shí)間內(nèi)訓(xùn)練更大網(wǎng)絡(luò)。另一個(gè)助力深度學(xué)習(xí)增長的因素是可以接觸到大型有標(biāo)簽數(shù)據(jù)集，讓學(xué)習(xí)算法可以識(shí)別正確的答案——比如，當(dāng)識(shí)別貓只是其中一個(gè)元素的圖片時(shí)，就可以識(shí)別正確答案 ——「貓」。

深度學(xué)習(xí)近來成功的另一個(gè)原因在于其學(xué)習(xí)執(zhí)行計(jì)算序列的能力——這些計(jì)算序列一步一步對圖像、聲音或其它數(shù)據(jù)進(jìn)行構(gòu)建或分析。網(wǎng)絡(luò)的深度即是這些步驟的數(shù)量。人工智能擅長的許多視覺或聽覺識(shí)別任務(wù)都需要很多層的深度網(wǎng)絡(luò)。事實(shí)上，在最近的理論和實(shí)驗(yàn)研究中，我們實(shí)際上已經(jīng)證明，在沒有足夠深度網(wǎng)絡(luò)的情況下，這些數(shù)學(xué)運(yùn)算中的一部分無法得以有效執(zhí)行。

深度神經(jīng)網(wǎng)絡(luò)中的每一層都會(huì)轉(zhuǎn)換其輸入并生成一個(gè)被發(fā)送到下一層的輸出。該網(wǎng)絡(luò)的更深度層代表了更為抽象的概念[見上述框圖]，這也更遠(yuǎn)離最初的原始感官輸入。實(shí)驗(yàn)表明，網(wǎng)絡(luò)中更深度層中的人工神經(jīng)元往往對應(yīng)于更抽象的語義概念：比如一個(gè)視覺物體，如一張桌子。對桌子圖像的識(shí)別可能會(huì)從更深層上神經(jīng)元的處理中涌現(xiàn)，即使「桌子」的概念并不位于網(wǎng)絡(luò)接受過訓(xùn)練的分類標(biāo)簽中。而且桌子概念本身可能只是創(chuàng)建更抽象概念的一個(gè)中間步驟，這個(gè)更抽象的概念位于可能被網(wǎng)絡(luò)分類為「辦公室場景」的這類更為深度的層級上。

超越模式識(shí)別

直至最近，人工神經(jīng)網(wǎng)絡(luò)的突出表現(xiàn)大部分在于完成這些任務(wù)上，比如識(shí)別靜態(tài)圖像的模式。但是，另一類神經(jīng)網(wǎng)絡(luò)也正在變得有名——特別是在處理隨著時(shí)間展開的事件方面。遞歸神經(jīng)網(wǎng)絡(luò)（Recurrent neural networks）已經(jīng)向人們證實(shí)了其有能力正確完成一序列計(jì)算（ a sequence of computations），典型地如語音、視頻以及其他數(shù)據(jù)。序列數(shù)據(jù)（Sequential data）由單元組成——無論是一個(gè)音素或一個(gè)完整單詞——一個(gè)單元按順序跟在另一個(gè)單元后。遞歸神經(jīng)網(wǎng)絡(luò)處理輸入的方式類似大腦運(yùn)作方式。當(dāng)處理感官輸入時(shí)，在神經(jīng)元之間傳遞的信號也會(huì)經(jīng)常發(fā)生變化。在發(fā)出一系列指令讓身體動(dòng)起來以完成某個(gè)特定任務(wù)之前，這種內(nèi)部神經(jīng)狀態(tài)的改變方式取決于當(dāng)前的腦部輸入（這些輸入來自周圍環(huán)境）。

遞歸網(wǎng)絡(luò)可以預(yù)測句子中的下一個(gè)單詞，還可將其用于一次性生成新的單詞序列。他們也可以完成更復(fù)雜的任務(wù)：在「讀」完一句話中所有單詞后，網(wǎng)絡(luò)可以猜測整個(gè)句子意思。然后，一個(gè)獨(dú)立的遞歸網(wǎng)絡(luò)會(huì)使用第一個(gè)神經(jīng)網(wǎng)絡(luò)的語義分析成果，將這個(gè)句子翻譯成另一種語言。

上世紀(jì)九十年代末和21世紀(jì)初，遞歸神經(jīng)網(wǎng)絡(luò)研究趨于平靜。我的理論工作表明，在學(xué)會(huì)檢索久遠(yuǎn)信息時(shí)，它們遇到了困難——處理這一序列中的最早元素。試想當(dāng)你讀到一本書最后一頁時(shí)，試著逐字逐句背誦這本書的第一句。但是，一些進(jìn)展已經(jīng)減少了一些難題，方法是讓這類網(wǎng)絡(luò)學(xué)會(huì)儲(chǔ)存信息以便讓信息持續(xù)更長的時(shí)間。神經(jīng)網(wǎng)絡(luò)可以使用計(jì)算機(jī)的臨時(shí)內(nèi)存來處理多個(gè)、分散的信息碎片，比如包含在一個(gè)文檔中不同句子里的思想。

經(jīng)歷漫長寒冬后，深度神經(jīng)網(wǎng)絡(luò)的強(qiáng)勢復(fù)出并不僅僅是技術(shù)上的勝利。它也給科學(xué)社會(huì)學(xué)上了一課。它尤其強(qiáng)調(diào)了這樣一種必要性：挑戰(zhàn)技術(shù)現(xiàn)狀，鼓勵(lì)多樣化研究組合（a diverse research portfolio ），它會(huì)支持那些暫受冷遇的研究領(lǐng)域。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！