百度AI實(shí)驗(yàn)室發(fā)布新成果,可加快深層遞歸神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度

鎂客 9年前 (2016-06-27)

近日,百度硅谷AI實(shí)驗(yàn)室發(fā)布一項(xiàng)新的研究成果,該成果可以加快深層遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)的訓(xùn)練速度。

自AlphaGo以4比1的成績擊敗圍棋世界冠軍李世石,人工智能的知名度至此一炮打響,而使得AlphaGo如此強(qiáng)大的東西,就是人工神經(jīng)網(wǎng)絡(luò)。

百度AI實(shí)驗(yàn)室發(fā)布新成果,可加快深層遞歸神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度

人工神經(jīng)網(wǎng)絡(luò)是一種模仿生物神經(jīng)網(wǎng)絡(luò)行為特征的數(shù)學(xué)模型或計(jì)算模型,由大量的人工神經(jīng)元聯(lián)結(jié),如同生物神經(jīng)網(wǎng)絡(luò)般進(jìn)行運(yùn)作。通過對(duì)已知數(shù)據(jù)的實(shí)驗(yàn)運(yùn)用,人工神經(jīng)網(wǎng)絡(luò)可以進(jìn)行學(xué)習(xí)和歸納總結(jié)(類似于數(shù)學(xué)統(tǒng)計(jì)學(xué)方法的一種),在此基礎(chǔ)上,人工神經(jīng)網(wǎng)絡(luò)就能夠類似生物一般具有簡單的決定和判斷能力。

人工神經(jīng)網(wǎng)絡(luò)是AI領(lǐng)域一個(gè)不可忽視的重要存在,研究人員對(duì)它的研究也在不斷提升。就在近日,百度硅谷人工智能實(shí)驗(yàn)室發(fā)布了一項(xiàng)新的研究成果技術(shù),該技術(shù)可以加快深層遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)的訓(xùn)練速度。

百度AI實(shí)驗(yàn)室發(fā)布新成果,可加快深層遞歸神經(jīng)網(wǎng)絡(luò)的訓(xùn)練速度

該項(xiàng)技術(shù)于由百度硅谷AI實(shí)驗(yàn)室的科學(xué)家Jesse Engel在Github上發(fā)布。Jesse Engel表示,此前就已經(jīng)發(fā)表過這項(xiàng)技術(shù)的第一階段研發(fā)成果,其關(guān)注的是 Minibatch和存儲(chǔ)配置在遞歸通用矩陣乘法(GEMM)的性能上所發(fā)揮的作用。而本次發(fā)布的是為第二階段的成果,其重點(diǎn)關(guān)注的是對(duì)算法本身的優(yōu)化。

Jesse在文章中也提到,該技術(shù)中還運(yùn)用到了Differentiable Graphs(可微圖形),這對(duì)于計(jì)算復(fù)雜的衍生工具是一個(gè)簡單、實(shí)用又可視化的工具,同時(shí)也可以激發(fā)算法的優(yōu)化。對(duì)于需要使用具有明確梯度計(jì)算功能框架、開發(fā)新的迭代算法以及開發(fā)應(yīng)用自動(dòng)分化深度學(xué)習(xí)框架的研究人員們來說,這項(xiàng)新的技術(shù)將更好地提升研發(fā)能力。

未來,該新技術(shù)將被應(yīng)用在更多的百度產(chǎn)品上,促進(jìn)百度深度學(xué)習(xí)技術(shù)的研發(fā)及在百度各項(xiàng)應(yīng)用服務(wù)中的應(yīng)用。例如把人工神經(jīng)網(wǎng)絡(luò)應(yīng)用在殺毒軟件,通過神經(jīng)網(wǎng)絡(luò)提供的大量已知在案的惡意軟件訓(xùn)練,百度的殺毒系統(tǒng)就能學(xué)會(huì)識(shí)別全新的病毒,即便系統(tǒng)從未見過這類病毒。

最后,記得關(guān)注微信公眾號(hào):鎂客網(wǎng)(im2maker),更多干貨在等你!

鎂客網(wǎng)


科技 | 人文 | 行業(yè)

微信ID:im2maker
長按識(shí)別二維碼關(guān)注

硬科技產(chǎn)業(yè)媒體

關(guān)注技術(shù)驅(qū)動(dòng)創(chuàng)新

分享到