人工神經(jīng)網(wǎng)絡(luò)的本質(zhì)(物理或數(shù)學(xué)意義)是什么?
通過不斷嘗試引入各種參量,最終得到允許誤差范圍內(nèi)的解,并通過引入?yún)⒘肯禂?shù),最終得到最優(yōu)解。
從數(shù)學(xué)的角度講,人工神經(jīng)網(wǎng)絡(luò)的本質(zhì)從機(jī)器學(xué)習(xí)的過程可理解為通過參數(shù)求最佳解得過程。同樣也是一個(gè)負(fù)反饋的過程,以最簡單的負(fù)反饋神經(jīng)網(wǎng)絡(luò)bp神經(jīng)網(wǎng)絡(luò)(back propagation)為例,其本質(zhì)可以形象的理解為這樣一個(gè)過程:
我們假設(shè)這個(gè)剛搭建的好的機(jī)器人叫“小明”(假設(shè)他剛出生),他的硬件軟件等我們不需要考慮的部分全部是最先進(jìn)的,小明的大腦里現(xiàn)在是最純凈的,除了一個(gè)學(xué)習(xí)的算法什么都沒有,就像一個(gè)剛出生的嬰兒一樣。
現(xiàn)在,小明餓了,想吃東西。那么如何才能吃到東西呢?在什么都不知道的情況下,小明開始探索如何才能不餓。他可能會(huì)伸手,或者笑、哭,于是母親喂了他吃的,從邏輯上可以這么理解:
然后他每次餓了,都開始伸手-笑-哭,然后就有吃的了。突然,有一天他自己也不知道怎么搞的,直接哭了。然后---有吃的了?。。?strong>這時(shí)他才明白這一個(gè)邏輯:
這時(shí)候,機(jī)器人“小明“明白,其實(shí)達(dá)到一個(gè)目的很簡單,但是需要不斷嘗試。
再后來,小明又餓了,這回他懶得動(dòng),稍微小哭了一下等吃的,結(jié)果媽媽沒來喂他!這是為啥?然后他就哭的超級大聲,媽媽看他這樣子以為是病了,急沖沖的送她去診所,結(jié)果啥病也沒有,小明迷惑,這是為什么?邏輯可以這么理解:
然后他把哭聲再稍微降低以點(diǎn),變成了很正常的哭,這時(shí)媽媽終于恍然大悟,喂他吃的。小明終于明白,想吃東西,首先需要哭,然后若哭聲小,不起作用,需要調(diào)大哭聲,若哭聲過大,會(huì)起反作用,需要把哭聲再降小一點(diǎn),就有吃的了。
以上就是人工神經(jīng)網(wǎng)絡(luò)的本質(zhì),通過不斷嘗試引入各種參量,最終得到允許誤差范圍內(nèi)的解,并通過引入?yún)⒘肯禂?shù),最終得到最優(yōu)解——喂食=哭。通過負(fù)反饋機(jī)制,當(dāng)參量所占權(quán)重過小,以當(dāng)前參量所得結(jié)果為參考依據(jù)適當(dāng)增加參量權(quán)重比例,增加的比例的系數(shù)隨機(jī)。通過第二次的結(jié)果和第一次的結(jié)果選擇更合適的權(quán)重系數(shù),最后經(jīng)過不斷的“嘗試“得到最優(yōu)解。
以上過程即是bp負(fù)反饋神經(jīng)網(wǎng)絡(luò)的算法思想。
最后,記得關(guān)注微信公眾號:鎂客網(wǎng)(im2maker),更多干貨在等你!
硬科技產(chǎn)業(yè)媒體
關(guān)注技術(shù)驅(qū)動(dòng)創(chuàng)新
