這款由記憶電阻設(shè)計(jì)的新型硬件計(jì)算系統(tǒng),加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練的同時(shí)還可預(yù)測(cè)下一步輸出

Lynn 8年前 (2017-12-27)

該系統(tǒng)未來(lái)還可用于預(yù)測(cè)分析。

近日,密歇根大學(xué)的研究團(tuán)隊(duì)設(shè)計(jì)出一種由記憶電阻制成的新型神經(jīng)網(wǎng)絡(luò)硬件系統(tǒng)(儲(chǔ)備池計(jì)算系統(tǒng)),相較于現(xiàn)有的硬件系統(tǒng),它的效率有了明顯的提升,并且它能在對(duì)話之前預(yù)測(cè)詞匯并預(yù)測(cè)下一步輸出。

這款記憶電阻設(shè)計(jì)出的新型硬件計(jì)算系統(tǒng),加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練的同時(shí)還可預(yù)測(cè)下一步

儲(chǔ)備池計(jì)算系統(tǒng)是一種有效改進(jìn)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)訓(xùn)練困難的計(jì)算系統(tǒng),此前,有科學(xué)家曾用光學(xué)元件制作了儲(chǔ)備池計(jì)算系統(tǒng),不過,此次電氣工程和計(jì)算機(jī)科學(xué)教授盧偉(音譯)及其團(tuán)隊(duì)使用記憶電阻構(gòu)造的新系統(tǒng)所需空間更小,也更容易集成到現(xiàn)有的硅基電子設(shè)備。

記憶電阻,又稱憶阻器,與普通的電阻不同,它的電阻值由流經(jīng)它的電荷確定。因此,通過測(cè)出記憶電阻的阻值,便可知道流經(jīng)它的電荷量,從而有記憶電荷的作用。在這項(xiàng)最新的研究中,研究團(tuán)隊(duì)使用的是一種特殊的記憶電阻。對(duì)此,團(tuán)隊(duì)沒有過多的介紹。

這款記憶電阻設(shè)計(jì)出的新型硬件計(jì)算系統(tǒng),加速神經(jīng)網(wǎng)絡(luò)訓(xùn)練的同時(shí)還可預(yù)測(cè)下一步

對(duì)該新型系統(tǒng)的驗(yàn)證,研究團(tuán)隊(duì)采用的是手寫識(shí)別測(cè)試(神經(jīng)網(wǎng)絡(luò)常用的基準(zhǔn)),以此來(lái)驗(yàn)證儲(chǔ)備池計(jì)算系統(tǒng)的性能。結(jié)果表明,他們僅使用88個(gè)記憶電阻做節(jié)點(diǎn),就可以分辨數(shù)字的手寫版本,且儲(chǔ)備池的精準(zhǔn)度高達(dá)91%;而傳統(tǒng)神經(jīng)網(wǎng)絡(luò)需要幾千個(gè)節(jié)點(diǎn)。此外,隨著時(shí)間而變化的數(shù)據(jù),新系統(tǒng)也能處理。

實(shí)際應(yīng)用中,為了訓(xùn)練神經(jīng)網(wǎng)絡(luò)完成某項(xiàng)任務(wù),很多公司包括研究機(jī)構(gòu)需要花費(fèi)大量的時(shí)間和高昂的成本在上面。不過盧偉表示,他們通過憶阻器制造出的儲(chǔ)備池計(jì)算系統(tǒng)可避免大多數(shù)昂貴的訓(xùn)練過程,也為網(wǎng)絡(luò)提供了記憶能力。

盧偉還表示,未來(lái)他將借助該技術(shù)研究語(yǔ)音識(shí)別和預(yù)測(cè)分析兩大領(lǐng)域。對(duì)此,他解釋道:“我們可以預(yù)測(cè)自然語(yǔ)言,所以你有時(shí)候沒有發(fā)出完整的單詞,我們也能預(yù)測(cè)出你接下來(lái)要說(shuō)的是什么。”

最后,記得關(guān)注微信公眾號(hào):鎂客網(wǎng)(im2maker),更多干貨在等你!

鎂客網(wǎng)


科技 | 人文 | 行業(yè)

微信ID:im2maker
長(zhǎng)按識(shí)別二維碼關(guān)注

硬科技產(chǎn)業(yè)媒體

關(guān)注技術(shù)驅(qū)動(dòng)創(chuàng)新

分享到