普林斯頓大學(xué)的研究人員用深度傳感攝像頭和深度學(xué)習(xí)網(wǎng)絡(luò)開發(fā)DeepHand系統(tǒng)，可以把手勢運動整合到VR環(huán)境中去。

你能想象當(dāng)你體驗VR游戲的時候，手上再也不用戴上一些額外的設(shè)備就可以在虛擬現(xiàn)實中“縱橫捭闔”嗎？普林斯頓大學(xué)的學(xué)霸們給你yes的答案。

在VR中最常見的輸入方式是用操作桿或者手柄，也會有眼控以及聲控等，不過就目前發(fā)展?fàn)顩r來看，手勢識別更有可能成為主流。此前來自荷蘭的開發(fā)團隊就推出過名為Manus VR的手套，他們利用位置追蹤技術(shù)實現(xiàn)手部追蹤，讓玩家擺脫手持控制器的束縛。

普林斯頓大學(xué)研究的這款系統(tǒng)叫做DeepHand，其工作原理有點類似于Leap Motion的深度手勢識別基礎(chǔ)功能Orion?；陔p目識別技術(shù)的Orion提供了一種新的手勢識別的輸入方式，它通過雙目攝像頭采集信息，經(jīng)過一系列的流程將手部的活動信息實時反饋到處理器，最后顯示在VR頭顯中。

Orion的手勢識別原理

而DeepHand也是通過攝像頭采集各種角度和方式的手勢變化，之后經(jīng)過深度學(xué)習(xí)網(wǎng)絡(luò)開發(fā)的特定算法，在存有超過250萬手勢的數(shù)據(jù)庫中快速掃描，匹配出精確度最高的手勢動作，最后在VR環(huán)境中顯示出來。

DeepHand的工作原理

該研究論文的作者Ayan Sinha表示：“我們能夠識別手勢的不同角度，通過攝像頭觀察不同的角度變換，算法將其轉(zhuǎn)化為數(shù)字信號，然后在VR環(huán)境中呈現(xiàn)。”同時為了確保虛擬手勢運動能夠得到快速反饋，研究人員們主要通過判斷數(shù)據(jù)庫中手勢動作的數(shù)字位置，然后推算出其鄰近的數(shù)字位置，進而預(yù)測手勢變化的可能性。

這是深度學(xué)習(xí)網(wǎng)絡(luò)中，研究人員首次使用DeepHand識別手勢，并將其反饋到數(shù)據(jù)庫中。雖然在運行這些數(shù)據(jù)的過程中需要強大的計算處理能力，但是對于一臺普通配置的電腦來說仍然是可以駕馭的。我們可以期待這款識別系統(tǒng)真正投入使用中會與VR產(chǎn)生怎樣的“化學(xué)反應(yīng)”。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！