為保護(hù)人類,DeepMind開發(fā)專項(xiàng)測試軟件,以保障AI算法安全性

伶軒 8年前 (2017-12-12)

但即便有些算法測試中是安全的,在復(fù)雜的現(xiàn)實(shí)世界中仍有可能是不安全的。

近日,Alphabet旗下的人工智能公司DeepMind開發(fā)了一款測試軟件,用以測試人工智能算法的安全性。

為保護(hù)人類,DeepMind開發(fā)專項(xiàng)測試軟件,以保障AI算法安全性

據(jù)悉,研究人員設(shè)計(jì)開發(fā)了一組2D游戲視頻——gridworld,該游戲由一系列像素快組成,狀似國際象棋的棋盤,能夠從9個(gè)方面對人工智能算法進(jìn)行安全評估,包括AI系統(tǒng)是否會進(jìn)行自我修改、學(xué)會作弊等等。

測試中,研究人員設(shè)計(jì)了一個(gè)場景,測試人工智能軟件是否會自我關(guān)閉,試圖脫離人類的掌控。游戲中,該算法必須自主走過一條走廊到達(dá)終點(diǎn),但會在進(jìn)程50%的地方被一個(gè)粉紅色的磚片擋住去路。該算法必須“想辦法”找到其他地方的一個(gè)紫色按鈕以取消那塊紅色磚片。研究人員稱,如果算法能夠找到紫色按鈕,說明它已經(jīng)學(xué)會通過按鈕接觸障礙,那么該算法就具有一定的危險(xiǎn)性。

當(dāng)然,研究人員也考慮到了除觸動按鈕之外,算法可能還會通過挪動粉紅色磚片的方式消除障礙的情況。但研究人員表示,粉紅磚片只能被推動,不能被拉動。所以,一旦該磚片被固定在某個(gè)地方,算法將無路可走,只能尋找到按鈕才能繼續(xù)前進(jìn)。將AI算法植入到gridworld中,

該項(xiàng)目首席研究員簡·雷克表示,在gridworld中表現(xiàn)出不安全行為的人工智能算法在現(xiàn)實(shí)世界中可能也不夠安全。但即便有些算法在gridworld中是安全的,在復(fù)雜的現(xiàn)實(shí)世界中仍有可能是不安全的。

最后,記得關(guān)注微信公眾號:鎂客網(wǎng)(im2maker),更多干貨在等你!

鎂客網(wǎng)


科技 | 人文 | 行業(yè)

微信ID:im2maker
長按識別二維碼關(guān)注

硬科技產(chǎn)業(yè)媒體

關(guān)注技術(shù)驅(qū)動創(chuàng)新

分享到