普林斯頓大學(xué)的研究人員用深度傳感攝像頭和深度學(xué)習(xí)網(wǎng)絡(luò)開發(fā)DeepHand系統(tǒng)，可以把手勢(shì)運(yùn)動(dòng)整合到VR環(huán)境中去。

你能想象當(dāng)你體驗(yàn)VR游戲的時(shí)候，手上再也不用戴上一些額外的設(shè)備就可以在虛擬現(xiàn)實(shí)中“縱橫捭闔”嗎？普林斯頓大學(xué)的學(xué)霸們給你yes的答案。

在VR中最常見的輸入方式是用操作桿或者手柄，也會(huì)有眼控以及聲控等，不過就目前發(fā)展?fàn)顩r來看，手勢(shì)識(shí)別更有可能成為主流。此前來自荷蘭的開發(fā)團(tuán)隊(duì)就推出過名為Manus VR的手套，他們利用位置追蹤技術(shù)實(shí)現(xiàn)手部追蹤，讓玩家擺脫手持控制器的束縛。

普林斯頓大學(xué)研究的這款系統(tǒng)叫做DeepHand，其工作原理有點(diǎn)類似于Leap Motion的深度手勢(shì)識(shí)別基礎(chǔ)功能Orion?；陔p目識(shí)別技術(shù)的Orion提供了一種新的手勢(shì)識(shí)別的輸入方式，它通過雙目攝像頭采集信息，經(jīng)過一系列的流程將手部的活動(dòng)信息實(shí)時(shí)反饋到處理器，最后顯示在VR頭顯中。

Orion的手勢(shì)識(shí)別原理

而DeepHand也是通過攝像頭采集各種角度和方式的手勢(shì)變化，之后經(jīng)過深度學(xué)習(xí)網(wǎng)絡(luò)開發(fā)的特定算法，在存有超過250萬手勢(shì)的數(shù)據(jù)庫(kù)中快速掃描，匹配出精確度最高的手勢(shì)動(dòng)作，最后在VR環(huán)境中顯示出來。

DeepHand的工作原理

該研究論文的作者Ayan Sinha表示：“我們能夠識(shí)別手勢(shì)的不同角度，通過攝像頭觀察不同的角度變換，算法將其轉(zhuǎn)化為數(shù)字信號(hào)，然后在VR環(huán)境中呈現(xiàn)。”同時(shí)為了確保虛擬手勢(shì)運(yùn)動(dòng)能夠得到快速反饋，研究人員們主要通過判斷數(shù)據(jù)庫(kù)中手勢(shì)動(dòng)作的數(shù)字位置，然后推算出其鄰近的數(shù)字位置，進(jìn)而預(yù)測(cè)手勢(shì)變化的可能性。

這是深度學(xué)習(xí)網(wǎng)絡(luò)中，研究人員首次使用DeepHand識(shí)別手勢(shì)，并將其反饋到數(shù)據(jù)庫(kù)中。雖然在運(yùn)行這些數(shù)據(jù)的過程中需要強(qiáng)大的計(jì)算處理能力，但是對(duì)于一臺(tái)普通配置的電腦來說仍然是可以駕馭的。我們可以期待這款識(shí)別系統(tǒng)真正投入使用中會(huì)與VR產(chǎn)生怎樣的“化學(xué)反應(yīng)”。

最后，記得關(guān)注微信公眾號(hào)：鎂客網(wǎng)（im2maker），更多干貨在等你！