百度AI實驗室發(fā)布新成果,可加快深層遞歸神經(jīng)網(wǎng)絡的訓練速度
近日,百度硅谷AI實驗室發(fā)布一項新的研究成果,該成果可以加快深層遞歸神經(jīng)網(wǎng)絡(RNNs)的訓練速度。
自AlphaGo以4比1的成績擊敗圍棋世界冠軍李世石,人工智能的知名度至此一炮打響,而使得AlphaGo如此強大的東西,就是人工神經(jīng)網(wǎng)絡。
人工神經(jīng)網(wǎng)絡是一種模仿生物神經(jīng)網(wǎng)絡行為特征的數(shù)學模型或計算模型,由大量的人工神經(jīng)元聯(lián)結,如同生物神經(jīng)網(wǎng)絡般進行運作。通過對已知數(shù)據(jù)的實驗運用,人工神經(jīng)網(wǎng)絡可以進行學習和歸納總結(類似于數(shù)學統(tǒng)計學方法的一種),在此基礎上,人工神經(jīng)網(wǎng)絡就能夠類似生物一般具有簡單的決定和判斷能力。
人工神經(jīng)網(wǎng)絡是AI領域一個不可忽視的重要存在,研究人員對它的研究也在不斷提升。就在近日,百度硅谷人工智能實驗室發(fā)布了一項新的研究成果技術,該技術可以加快深層遞歸神經(jīng)網(wǎng)絡(RNNs)的訓練速度。
該項技術于由百度硅谷AI實驗室的科學家Jesse Engel在Github上發(fā)布。Jesse Engel表示,此前就已經(jīng)發(fā)表過這項技術的第一階段研發(fā)成果,其關注的是 Minibatch和存儲配置在遞歸通用矩陣乘法(GEMM)的性能上所發(fā)揮的作用。而本次發(fā)布的是為第二階段的成果,其重點關注的是對算法本身的優(yōu)化。
Jesse在文章中也提到,該技術中還運用到了Differentiable Graphs(可微圖形),這對于計算復雜的衍生工具是一個簡單、實用又可視化的工具,同時也可以激發(fā)算法的優(yōu)化。對于需要使用具有明確梯度計算功能框架、開發(fā)新的迭代算法以及開發(fā)應用自動分化深度學習框架的研究人員們來說,這項新的技術將更好地提升研發(fā)能力。
未來,該新技術將被應用在更多的百度產(chǎn)品上,促進百度深度學習技術的研發(fā)及在百度各項應用服務中的應用。例如把人工神經(jīng)網(wǎng)絡應用在殺毒軟件,通過神經(jīng)網(wǎng)絡提供的大量已知在案的惡意軟件訓練,百度的殺毒系統(tǒng)就能學會識別全新的病毒,即便系統(tǒng)從未見過這類病毒。
最后,記得關注微信公眾號:鎂客網(wǎng)(im2maker),更多干貨在等你!
硬科技產(chǎn)業(yè)媒體
關注技術驅動創(chuàng)新
