日前，IBM蘇黎世研究院研究人員利用相變存儲(chǔ)材料，制造出首例隨機(jī)興奮人工神經(jīng)元。

【編者按】本文由新智元編譯，來源：IBM Research、The Economist 等，譯者：聞菲、張冬君

日前，IBM蘇黎世研究院研究人員利用相變存儲(chǔ)材料，制造出首例隨機(jī)興奮人工神經(jīng)元。《經(jīng)濟(jì)學(xué)人》評(píng)論，這是在人造大腦方面的又一突破。模仿大腦的概念簡(jiǎn)單，但實(shí)際把它做出來卻相當(dāng)難。有了IBM 的這項(xiàng)突破，今后再將隨機(jī)相變神經(jīng)元集群與其他納米計(jì)算材料結(jié)合在一起，能夠成為下一代超密神經(jīng)形態(tài)計(jì)算系統(tǒng)的關(guān)鍵。

沒有人知道人腦是如何工作的，因此研究人腦的研究員才想出了“模擬”的方法。常見的方法是用神經(jīng)形態(tài)元件制作出一個(gè)人造大腦。計(jì)算機(jī)科學(xué)家早就從生物學(xué)中汲取靈感，最近被稱為“深度學(xué)習(xí)”的人工智能技術(shù)，就是模仿人腦的生理行為。

神經(jīng)形態(tài)（Neuromorphic）一詞最早是在 20 世紀(jì) 80 年代，由加州理工大學(xué)的計(jì)算機(jī)科學(xué)家 Carver Mead 提出。神經(jīng)形態(tài)工程學(xué)（Neuromorphic engineering）希望利用具有模擬電路特征的超大規(guī)模集成電路（VLSI），模仿人腦神經(jīng)系統(tǒng)，最終目標(biāo)是制造一個(gè)仿真人腦的芯片或集成電路。神經(jīng)形態(tài)工程學(xué)需要跨領(lǐng)域的合作，也吸引了生物學(xué)、物理學(xué)、數(shù)學(xué)及信息科學(xué)等各方面人才的投入。

日前，IBM 蘇黎世研究院的研究人員利用相變存儲(chǔ)材料獲得了突破。IBM 研究員 Evangelos Eleftheriou 表示，過去十年來，IBM 一直從事相變存儲(chǔ)材料的研究。“現(xiàn)在，我們又展示了這些使用相變材料制作的人工神經(jīng)元的能力，它們能夠以非常低的能耗進(jìn)行高效無監(jiān)督學(xué)習(xí)和數(shù)據(jù)相關(guān)的檢測(cè)等多種簡(jiǎn)單的計(jì)算。” Eleftheriou 說。

論文的第一作者 Tomas Tuma 表示，隨機(jī)相變神經(jīng)元集群與其他納米計(jì)算材料結(jié)合在一起，能夠成為下一代超密神經(jīng)形態(tài)計(jì)算系統(tǒng)的關(guān)鍵。相關(guān)論文日前被《自然·納米技術(shù)》作為封面論文發(fā)表。

相變存儲(chǔ)材料動(dòng)態(tài)演示圖

世界首例隨機(jī)興奮人工神經(jīng)元

科學(xué)家?guī)资昵氨闾岢?，能夠制作出具有類似人腦功能的神經(jīng)形態(tài)集成電路。但一直以來，能耗的問題都沒有得到解決。

現(xiàn)在，IBM 蘇黎世研究院的研究人員利用相變存儲(chǔ)材料獲得了突破。IBM 研究員 Evangelos Eleftheriou 表示，過去十年來，IBM 一直從事相變存儲(chǔ)材料的研究。“我們展示了這些使用相變材料制作的人工神經(jīng)元的能力，它們能夠以非常低的能耗進(jìn)行高效無監(jiān)督學(xué)習(xí)和數(shù)據(jù)相關(guān)的檢測(cè)等多種簡(jiǎn)單的計(jì)算。” Eleftheriou 說。

論文的第一作者 Tomas Tuma 表示，隨機(jī)相變神經(jīng)元集群與其他納米計(jì)算材料結(jié)合在一起，能夠成為下一代超密神經(jīng)形態(tài)計(jì)算系統(tǒng)的關(guān)鍵。

藝術(shù)家創(chuàng)作：相變合金液鍺銻碲（GeSbTe）覆蓋的人造神經(jīng)元。來源：IBM 研究院

IBM 蘇黎世研究院研究人員制造的這款人工神經(jīng)元，由相變合金鍺銻碲（GeSbTe）組成，GeSbTe 也是制作藍(lán)光光碟的一種基礎(chǔ)材料，在不同的條件下會(huì)處于無定形和晶體兩種不同的狀態(tài)。

相變存儲(chǔ)器由于具有讀寫速度快、能耗低、非揮發(fā)性、數(shù)據(jù)保持時(shí)間長(zhǎng)以及與硅加工工藝兼容等特點(diǎn)，被認(rèn)為是最有可能取代目前的 SRAM、DRAM、FLASH等產(chǎn)品成為未來主流的存儲(chǔ)器產(chǎn)品。GeSbTe硫系三元化合物已經(jīng)被成功應(yīng)用于光盤系列相變存儲(chǔ)器，也是在PCRAM應(yīng)用中最具競(jìng)爭(zhēng)力的相變材料。

生物神經(jīng)細(xì)胞在傳導(dǎo)神經(jīng)興奮信號(hào)時(shí)，會(huì)經(jīng)過神經(jīng)遞質(zhì)，也即一層液態(tài)的神經(jīng)薄膜，這層神經(jīng)薄膜在接收到信號(hào)時(shí)，不會(huì)立即釋放，而是當(dāng)能量積蓄到一定程度后，才會(huì)向外發(fā)射信號(hào)。這個(gè)信號(hào)沿軸突傳導(dǎo)，被其他神經(jīng)元接收。

IBM 研究人員用一小滴鍺銻碲合金液作為神經(jīng)薄膜的替代品。實(shí)驗(yàn)中，研究人員將人工神經(jīng)元接通后，輸入一系列電脈沖信號(hào)，從而使材料發(fā)生一系列相變，最終使人工神經(jīng)元發(fā)射信號(hào)。

具體看，一小滴鍺銻碲合金液兩邊分別接通電極。隨著電流的通過，合金液的導(dǎo)電性會(huì)發(fā)生改變。最開始，這一滴鍺銻碲合金液不含有任何晶體結(jié)構(gòu)，因此導(dǎo)電性很差。但當(dāng)?shù)蛪弘娏魍ㄟ^時(shí)，一部分合金溫度升高并開始形成結(jié)晶，導(dǎo)電性也隨之增強(qiáng)。繼續(xù)通電，整滴合金液的導(dǎo)電性都會(huì)增強(qiáng)，直到最后電流完全能夠通過，就好像生物神經(jīng)薄膜能量積蓄滿之后發(fā)射神經(jīng)脈沖信號(hào)一樣。之后，再加上高壓電流，讓整個(gè)合金液熔化，就能回到初始狀態(tài)。

在神經(jīng)科學(xué)中，這種現(xiàn)象被稱為神經(jīng)元的 integrate-and-fire（IF）性質(zhì)，也是基于事件計(jì)算的基礎(chǔ)。

生物神經(jīng)元是不可預(yù)測(cè)的，細(xì)胞里的震動(dòng)表明特定的輸入不一定會(huì)得到同樣的輸出。自然正是利用這種隨機(jī)性，讓神經(jīng)元完成了不可思議的工作，比如從復(fù)雜的數(shù)學(xué)題目中得出局部最小準(zhǔn)則（local minimum criterion，LMC），這是依靠算法的數(shù)字計(jì)算機(jī)無法做到的。由于每次結(jié)晶的具體細(xì)節(jié)都不同，因此可以認(rèn)為，這些人工神經(jīng)元的動(dòng)作是相對(duì)比較隨機(jī)的。

IBM 研究員 Evangelos Eleftheriou 表示，由于有了 IF屬性，單一的人造神經(jīng)元也能被用于處理實(shí)時(shí)信息流，并從中找出規(guī)律、發(fā)現(xiàn)關(guān)聯(lián)。例如，在物聯(lián)網(wǎng)中，傳感器能采集并分析網(wǎng)絡(luò)邊緣收集到的數(shù)據(jù)，預(yù)測(cè)天氣。此外，人工神經(jīng)元也能被用于檢測(cè)金融數(shù)據(jù)的規(guī)律，或者分析社交網(wǎng)絡(luò)數(shù)據(jù)，實(shí)時(shí)發(fā)現(xiàn)文化潮流。

神經(jīng)形態(tài)計(jì)算：模擬人腦神經(jīng)元行為

神經(jīng)形態(tài)（Neuromorphic）一詞最早是在 20 世紀(jì) 80 年代，由加州理工大學(xué)的計(jì)算機(jī)科學(xué)家 Carver Mead 提出。神經(jīng)形態(tài)工程學(xué)（Neuromorphic engineering）希望利用具有模擬電路特征的超大規(guī)模集成電路（VLSI），模仿人腦神經(jīng)系統(tǒng)，最終目標(biāo)是制造一個(gè)仿真人腦的芯片或集成電路。神經(jīng)形態(tài)工程學(xué)需要跨領(lǐng)域的合作，也吸引了生物學(xué)、物理學(xué)、數(shù)學(xué)及信息科學(xué)等各方面人才的投入。

Carver Mead 在上世紀(jì) 70 年代為摩爾定律命名，他開創(chuàng)了半導(dǎo)體行業(yè)的許多個(gè)第一，其中包括設(shè)計(jì)復(fù)雜硅芯片（超大規(guī)模集成電路）的方法，直到今天，這種方法仍然具有影響力。

1971年，Mead（左）在加州理工教授 VLSI 技術(shù)的第一堂課。來源：caltech.edu

上世紀(jì) 80 年代，對(duì)標(biāo)準(zhǔn)計(jì)算機(jī)的局限性感到沮喪的 Mead 開始制造模擬哺乳動(dòng)物大腦的芯片，也由此創(chuàng)立了名為神經(jīng)形態(tài)計(jì)算的領(lǐng)域。Mead 使用亞閾值（sub-threshold）硅模仿大腦的低功耗處理過程。在十分微小的電壓下，正常芯片無法將比特從“0”改變?yōu)?ldquo;1”，但亞閾值硅仍然有微小的、不規(guī)則的電子流通過，這種自發(fā)電流的漲落，其大小和可變性，與神經(jīng)回路中流動(dòng)的離子所形成電子流非常相似。

20 世紀(jì) 90 年代，Mead 和同事發(fā)現(xiàn)，構(gòu)建硅神經(jīng)元網(wǎng)絡(luò)是有可能實(shí)現(xiàn)的。該裝置通過結(jié)點(diǎn)（junction）接收外部電流輸入信號(hào)，結(jié)點(diǎn)的作用類似于真實(shí)神經(jīng)系統(tǒng)中的突觸——神經(jīng)脈沖通過突觸，從一個(gè)神經(jīng)元傳到另一個(gè)神經(jīng)元。和真正的神經(jīng)元相似，硅神經(jīng)元允許傳入的信號(hào)在電路的內(nèi)部積蓄電壓。當(dāng)電壓達(dá)到一個(gè)特定的閾值，硅神經(jīng)元就會(huì)“放電”，產(chǎn)生一系列“電壓尖脈沖”（voltage spike，即瞬間出現(xiàn)的電壓峰值），這些“電壓尖脈沖”會(huì)沿著一條導(dǎo)線傳播，這條導(dǎo)線的作用類似神經(jīng)元的軸突。盡管這些尖脈沖是“數(shù)字化”的，只能處于開或關(guān)這兩種狀態(tài)，但硅神經(jīng)元卻像真正的神經(jīng)元一樣，是以非數(shù)字化的形式運(yùn)行的，因此硅神經(jīng)元的電流和電壓并不限于幾個(gè)不連續(xù)的數(shù)值，這與傳統(tǒng)芯片完全不同。

硅神經(jīng)元的表現(xiàn)，反映了大腦節(jié)能的一個(gè)關(guān)鍵因素：與真正的大腦一樣，硅神經(jīng)元在“放電”之前，只是簡(jiǎn)單地整合輸入信號(hào)，這只需要很少的能量。而在傳統(tǒng)計(jì)算機(jī)中，無論芯片是否進(jìn)行運(yùn)算，都需要持續(xù)輸入能量，維持內(nèi)部時(shí)鐘運(yùn)行。

無論現(xiàn)今的智能型產(chǎn)品多么智能、電路多么復(fù)雜，但與人腦相比都還只是玩具，尤其是功率。人腦包含上千種神經(jīng)細(xì)胞及神經(jīng)元組成的一個(gè)極為復(fù)雜的網(wǎng)絡(luò)。光是"模擬"一個(gè)神經(jīng)元的行為，就需要消耗大量計(jì)算資源。

神經(jīng)形態(tài)工程學(xué)所追求的未來芯片，就是將大量的邏輯電路整合進(jìn)一個(gè)芯片中，透過個(gè)芯片的控制，讓各種高科技產(chǎn)品能夠順利運(yùn)作。

IBM 蘇黎世研究院的研究人員利用相變存儲(chǔ)材料，制作的隨機(jī)興奮神經(jīng)元。兩邊微小的方形是電極的導(dǎo)電板，很尖的探針觸碰到導(dǎo)電板，讓相變材料回應(yīng)神經(jīng)信號(hào)輸入。每組探針都能接觸到100個(gè)細(xì)胞組成的一個(gè)集群。來源：IBM研究院

現(xiàn)在，IBM 研究人員已經(jīng)將好幾百個(gè)這樣的人造神經(jīng)元構(gòu)成集群，并用這些集群代表快速?gòu)?fù)雜的信號(hào)。不僅如此，每個(gè)人造神經(jīng)元都表現(xiàn)出了很高的耐受性，能夠在 100 Hz 的頻率下運(yùn)行好幾年。每個(gè)神經(jīng)元的能耗都少于 5 皮焦，平均能耗少于 120 微瓦。相比之下，60瓦的電燈泡需要消耗 6000萬微瓦。

研究人員專訪

參與這項(xiàng)研究的IBM蘇黎世研究員（從左到右）：Abu Sebastian，Evangelos Eleftheriou，Tomas Tuma，Angeliki Pantai 和 Manuel Le Gallo。來源：IBM研究院

IBM 蘇黎世的暑期實(shí)習(xí)生 Millian Gehrer 采訪了參與上述研究的研究員 Manuel Le Gallo。

人工神經(jīng)元的功能是什么？

Manuel Le Gallo：神經(jīng)元具有一定的功能，我們稱之為“整合和觸發(fā)（integrate and fire）”。神經(jīng)元就像一個(gè)蓄電池，如果你不停地向神經(jīng)元輸入電流，它就會(huì)整合所有的輸入電流。膜電位取決于輸入電流的量和強(qiáng)度，它在達(dá)到一定的閾值時(shí)，會(huì)“fire”或者“spike。這種蓄電池可用于執(zhí)行極其復(fù)雜的計(jì)算任務(wù)。

人工神經(jīng)元的發(fā)展帶來怎樣的靈感？

ML：人工神經(jīng)元旨在模仿生物神經(jīng)元的活動(dòng)。人工神經(jīng)元的功能不可能和生物神經(jīng)元完全相同，但是非常相近，足夠用來執(zhí)行人腦里的計(jì)算。人工神經(jīng)元通常是用基于CMOS的電路制造的，這是我們?cè)谟?jì)算機(jī)中使用的標(biāo)準(zhǔn)晶體管技術(shù)。我們的研究使用的是非CMOS裝置，比如相變裝置，以再現(xiàn)降低能耗和增加磁錄密度的相同功能。

你對(duì)論文的貢獻(xiàn)是什么？

ML：過去三年我一直從事相變存儲(chǔ)材料的相關(guān)工作。這項(xiàng)研究加深了我們對(duì)相變存儲(chǔ)材料特性和模擬的了解，這對(duì)于使用相變材料制作存儲(chǔ)器是至關(guān)重要的。此外，我們還獲得了實(shí)驗(yàn)數(shù)據(jù)，對(duì)結(jié)論的分析和闡釋也有所貢獻(xiàn)。

人造神經(jīng)元在什么情景下使用？

ML：論文中，我們展示了如何從多次事件輸入流中檢測(cè)到關(guān)聯(lián)性。假設(shè)有很多二元事件流，想要找出哪兩條暫時(shí)相關(guān)，比如在1秒鐘內(nèi)同時(shí)發(fā)生。我們展示了如何從多個(gè)事件流當(dāng)中檢測(cè)關(guān)聯(lián)性。

“事件”是什么意思？

ML：事件可以指Twitter的數(shù)據(jù)，或者物聯(lián)網(wǎng)收集到的天氣數(shù)據(jù)或者傳感器數(shù)據(jù)。假設(shè)你現(xiàn)在有多條二元事件流，你想找出其中哪些是暫時(shí)相關(guān)的。論文中我們展示了，只用一個(gè)神經(jīng)元就可以做出這樣的區(qū)分，這個(gè)神經(jīng)元與多個(gè)接收這些事件的突觸相連。

神經(jīng)形態(tài)計(jì)算比傳統(tǒng)計(jì)算更加高效的原因是什么？

ML：傳統(tǒng)計(jì)算，存儲(chǔ)單元和邏輯單元是分開的。每次計(jì)算時(shí)，你需要先訪問存儲(chǔ)器，得到數(shù)據(jù)，再將其轉(zhuǎn)移到邏輯單元，邏輯單元計(jì)算得出結(jié)果后，再將這一結(jié)果發(fā)送給存儲(chǔ)單元，如此往返。因此，如果要處理的數(shù)據(jù)有很多，那么就會(huì)很麻煩。

在神經(jīng)網(wǎng)絡(luò)中，計(jì)算和存儲(chǔ)是一體的。不需要在存儲(chǔ)單元和邏輯單元之間建立聯(lián)系；只需要在不同的神經(jīng)元之間建立起合適的連接即可。這也是我們的研究能效更高的原因，尤其是處理大規(guī)模數(shù)據(jù)時(shí)。

最后，記得關(guān)注微信公眾號(hào)：鎂客網(wǎng)（im2maker），更多干貨在等你！