七鑫易維新出VR眼球追蹤技術(shù),打破傳統(tǒng)虛擬現(xiàn)實(shí)玩法
眼控VR全視場角追蹤技術(shù),創(chuàng)造虛擬現(xiàn)實(shí)新需求。
現(xiàn)在已經(jīng)出現(xiàn)了不少360度全景相機(jī),可以進(jìn)行全視角的體驗(yàn)。然后也有不少VR設(shè)備具備這一功能,但是一直都沒能實(shí)現(xiàn)眼控的VR全視場追蹤。國際上知名的SMI、Tobii等眼球追蹤技術(shù)公司也還沒有對外公布這方面的任何消息,或許可以將希望放在國內(nèi)眼球追蹤技術(shù)公司上。
近日,有消息顯示,七鑫易維的眼控VR已經(jīng)成功研發(fā)出來了,目前已經(jīng)進(jìn)入測試階段,實(shí)現(xiàn)了眼控交互和局部渲染的功能。
從技術(shù)層面上來說,VR設(shè)備上的眼控技術(shù)與電腦上的眼控技術(shù)有很大的不同,使用條件和結(jié)構(gòu)都存在很大的限制,而在光學(xué)設(shè)計(jì)和追蹤算法上面也要精細(xì)和復(fù)雜的多。
用戶使用VR設(shè)備時(shí),眼球和設(shè)備的距離非常小,瞳孔、虹膜、眼球都不在攝像頭的正面,甚至還會(huì)被眼瞼和睫毛擋住,因此傳統(tǒng)的算法很難準(zhǔn)確定位到眼球,那么使用傳統(tǒng)追蹤方法獲取的人眼模型就會(huì)凸顯出來,這時(shí)眼球的轉(zhuǎn)動(dòng)就會(huì)對圖像產(chǎn)生非常大的影響,一樣的轉(zhuǎn)角造成的運(yùn)動(dòng)模糊也會(huì)變得相當(dāng)大,在圖像的處理方面會(huì)加深不少難度。
因此,針對這一問題,七鑫易維可以采用特殊的光學(xué)裝置,優(yōu)化追蹤算法,更好地捕捉人眼的特征點(diǎn),同時(shí)還不影響VR設(shè)備的體驗(yàn)效果。
眼控VR的優(yōu)勢
全視場角的追蹤
在VR設(shè)備上的眼球追蹤范圍可以說是幾乎達(dá)到了人眼轉(zhuǎn)動(dòng)的極限,即垂直30度,水平50度,完全覆蓋了FOV大于110°的主流VR設(shè)備。因此,按照人眼轉(zhuǎn)動(dòng)的極限值來設(shè)計(jì)追蹤方案的話就可以使得追蹤的范圍變得非常的廣,幾乎可以達(dá)到無死角覆蓋VR顯示屏幕。
高精度與低延遲
除了在追蹤范圍上有高要求之外,追蹤精度也是一個(gè)非常重要的元素。特別是體驗(yàn)VR游戲的時(shí)候,更需要操作的實(shí)時(shí)性與高精度性。想要玩家?guī)缀醺惺懿坏窖舆t,就必須做到高速度的眼動(dòng)數(shù)據(jù)獲取,而眼球追蹤技術(shù)正可以很好的解決這一問題。
防抖追蹤算法
一般的VR設(shè)備都是頭戴式的,因此大部分的VR應(yīng)用都是結(jié)合頭部的動(dòng)作來實(shí)現(xiàn)的,但是在頭部轉(zhuǎn)動(dòng)的過程中就會(huì)發(fā)生VR設(shè)備的串動(dòng),這時(shí)想要獲取更精確的眼球數(shù)據(jù)無疑是一件相當(dāng)困難的事情。
因此,這對這個(gè)問題,七鑫易維還特別增加了防抖追蹤算法,這樣就不會(huì)因頭部的轉(zhuǎn)動(dòng)而產(chǎn)生眼球追蹤精度的偏差。
眼球追蹤技術(shù)的實(shí)現(xiàn)可以給VR帶來全新的玩法,比如射擊游戲中實(shí)現(xiàn)眼球控制目標(biāo)鎖定的功能,只要玩家閉上一只眼睛,就會(huì)自動(dòng)調(diào)出瞄準(zhǔn)鏡;或者根據(jù)玩家在場景中不同的注視點(diǎn)而觸發(fā)不同的劇情;當(dāng)注視路口的時(shí)候就可以自動(dòng)調(diào)查地圖進(jìn)行導(dǎo)航;或者是注視NPC不同的部位可以觸發(fā)不同的劇情等等一系列的新功能。
除此之外也可以用于游戲菜單,不需要時(shí)可以自動(dòng)隱藏,需要時(shí)則需要通過眼控進(jìn)行觸發(fā),這樣VR界面就會(huì)顯得更加清爽。
眼控VR的市場前景
由于眼控技術(shù)可以帶來更加新奇的玩法和更為便捷的操作,因此不少廠商都非常重視這一技術(shù)的研發(fā)。而七鑫易維這款眼控VR設(shè)備,算法追蹤速度已經(jīng)達(dá)到240Hz,延遲低于5ms,實(shí)現(xiàn)全視場角追蹤。對saccade處理,即快速眼動(dòng)跟蹤主要是通過眼跳基于高速追蹤時(shí),對眼球轉(zhuǎn)動(dòng)矢量進(jìn)行處理得到,高于某個(gè)閾值就認(rèn)為是眼跳。
業(yè)內(nèi)人士表示,眼控技術(shù)最重要的方向不是在于控制,而是顯示的優(yōu)化與社交的實(shí)現(xiàn),因?yàn)橐暰€的捕捉、重建可以直接影響情感的表達(dá)。有人猜測,將來眼控VR會(huì)是頭顯設(shè)備的標(biāo)準(zhǔn)配置功能。盡管以目前的技術(shù)來看,在交互上還需要更多的內(nèi)容與支持,但是從整個(gè)VR市場的發(fā)展前景來看,這是功能的實(shí)現(xiàn)都僅僅是時(shí)間問題,七鑫易維也是更側(cè)重與交互的作用上面。
Facebook也曾經(jīng)和七鑫易維洽談過,表示希望七鑫易維的眼球追蹤技術(shù)可以運(yùn)用到Oculus二代的產(chǎn)品當(dāng)中,而國內(nèi)的公司也希望將眼球追蹤技術(shù)加入到下一代產(chǎn)品中,增加競爭的優(yōu)勢。
雖說現(xiàn)在的行業(yè)內(nèi)外都在說2016年將是VR的元年,迎來真正的爆發(fā)期,在游戲和互動(dòng)娛樂上的前景已經(jīng)是非常明朗的了,但是整個(gè)VR產(chǎn)業(yè)其實(shí)依舊處于襁褓期?,F(xiàn)在依舊不能明確地知道什么樣的體驗(yàn)才是最好的,怎樣為虛擬現(xiàn)實(shí)尋找更多的落地方式等等,這些問題的答案依舊在探尋之中。除了國際知名的Oculus這樣的老大產(chǎn)品之外,國內(nèi)外大大小小的VR企業(yè)都在不斷創(chuàng)新,致力于VR產(chǎn)業(yè)的發(fā)展之道。
其實(shí)眼球追蹤技術(shù)并不是一個(gè)全新的產(chǎn)物,之前早已在霍金等殘疾人士身上發(fā)揮作用,但是運(yùn)用到VR領(lǐng)域還屬于一種全新的嘗試。一位業(yè)界的資深人士表示:將眼球追蹤技術(shù)運(yùn)用到VR中,結(jié)合NVIDIA的Gameworks VR來做多分辨率的視口渲染(眼球聚焦的區(qū)域采用高分辨率,其它區(qū)域采用低分辨率),不失為一種可行的優(yōu)化策略;亦或是將它作為一種結(jié)合頭盔的新奇互動(dòng)方式,用在未來的VR游戲中也是可以的。但是這些構(gòu)想恐怕都不能直擊行業(yè)的痛點(diǎn),而是類似當(dāng)年Leap Motion或者M(jìn)yo的做法,可能引發(fā)一個(gè)有趣的新話題,但是也難免會(huì)出現(xiàn)后繼乏力的現(xiàn)象,不能真正普及到一般使用者中間。
因此,還需要更多諸如此類的技術(shù),不斷地去進(jìn)行更多的嘗試,不斷地去促進(jìn)虛擬現(xiàn)實(shí)技術(shù)更好的落地,研發(fā)出針對每一位用戶真正核心需求的產(chǎn)品,才能使得這個(gè)行業(yè)生根發(fā)芽,真正地存活下來。
最后,記得關(guān)注微信公眾號(hào):鎂客網(wǎng)(im2maker),更多干貨在等你!
硬科技產(chǎn)業(yè)媒體
關(guān)注技術(shù)驅(qū)動(dòng)創(chuàng)新
