眼球追蹤技術(shù)不僅是目前全球最前沿的機(jī)器視覺(jué)技術(shù)，還是最為人性的VR技術(shù)。

2016年4月21日，在鎂客網(wǎng)于上海世博展覽館主辦的VR主題論壇上，七鑫易維副總裁彭凡發(fā)表了題為《眼球追蹤技術(shù)——讓VR更“人性”》的主題演講。彭凡表示，眼球追蹤技術(shù)是目前全球最前沿的機(jī)器視覺(jué)技術(shù)，是最為人性的VR技術(shù)。七鑫易維作為技術(shù)型公司，希望在未來(lái)能為行業(yè)提供眼控技術(shù)標(biāo)準(zhǔn)，將注視渲染做到極致。

以下是七鑫易維彭凡的演講實(shí)錄：

目前，眼球追蹤技術(shù)已經(jīng)在國(guó)外的醫(yī)療領(lǐng)域和廣告領(lǐng)域里有一些應(yīng)用了。比如說(shuō)，對(duì)于像霍金這樣的帕金森綜合證患者或者是一些全身都不能動(dòng)的人群來(lái)說(shuō)，能用眼睛來(lái)打字、控制電腦是非常重要的。這樣的技術(shù)在國(guó)際上我們叫做眼控溝通輔具。

眼球追蹤技術(shù)是目前全球最前沿的機(jī)器視覺(jué)技術(shù)，它的原理就是用眼控儀捕捉用戶頭部運(yùn)動(dòng)和眼球轉(zhuǎn)動(dòng)的信號(hào)，實(shí)時(shí)計(jì)算出眼睛的注視點(diǎn)方向。

七鑫易維作為技術(shù)型公司，認(rèn)為當(dāng)下VR行業(yè)有以下四個(gè)的瓶頸。首先任何技術(shù)的交互都是非常重要的，現(xiàn)在的VR交互大部分還是基于控制器，但是控制器并不能給用戶帶來(lái)真實(shí)感，而虛擬現(xiàn)實(shí)的特性之一就是真實(shí)感。未來(lái)VR的交互一定是機(jī)器去適應(yīng)人而不是人去適應(yīng)機(jī)器的。

人在進(jìn)行信息獲取時(shí)，有80%以上信息是來(lái)自于視覺(jué)的。所以說(shuō)，未來(lái)VR體系中的交互技術(shù)必定會(huì)是眼球追蹤、語(yǔ)音識(shí)別、手勢(shì)識(shí)別、動(dòng)作捕捉的集成。

第二個(gè)問(wèn)題是顯示。不知道大家在體驗(yàn)VR的時(shí)候有沒(méi)有覺(jué)得畫面不夠清晰？現(xiàn)在大多的設(shè)備所能達(dá)到的單眼分辨率只有1K，而且計(jì)算機(jī)已經(jīng)無(wú)法進(jìn)行渲染了。但是如果想要用戶在體驗(yàn)VR時(shí)有身臨其境的感覺(jué)，那么左右眼的畫面分辨率就必須要達(dá)到8K。

第三個(gè)是計(jì)算。如果我們想要擁有1000赫茲的渲染刷新率和單眼8K的分辨率，那么對(duì)計(jì)算機(jī)性能的要求就相當(dāng)?shù)母吡?。但是，現(xiàn)在市面上具有上好性能的計(jì)算機(jī)價(jià)格都非常的高，怎么把對(duì)計(jì)算機(jī)的要求降下來(lái)就變得尤為重要了。

最后一個(gè)是內(nèi)容。我一直覺(jué)得內(nèi)容不是一個(gè)很大的問(wèn)題，因?yàn)楫?dāng)整個(gè)產(chǎn)業(yè)鏈的技術(shù)標(biāo)準(zhǔn)確定之后，我們的內(nèi)容制造商是可以像智能手機(jī)一樣快速的去復(fù)制內(nèi)容的。

眼球追蹤技術(shù)承擔(dān)著什么作用呢？上面這張圖里的電腦屏幕上所顯示的是一個(gè)體驗(yàn)者眼神的校準(zhǔn)頁(yè)面。眼控交互可以讓VR更人性，讓我們所看到的VR畫面中任何一個(gè)物體或任何一個(gè)圖標(biāo)，都是出于人眼的自然反應(yīng)。

每一個(gè)人在看東西時(shí)的自然反應(yīng)都是先用眼睛去看的，只有在需要看眼睛視覺(jué)范圍外的東西的時(shí)候才會(huì)轉(zhuǎn)動(dòng)頭部?？墒钱?dāng)你每點(diǎn)一個(gè)圖標(biāo)都必須要進(jìn)行頭部的轉(zhuǎn)動(dòng)的話，就會(huì)覺(jué)得用頭去看每一個(gè)圖標(biāo)是非常累的。在實(shí)驗(yàn)室的測(cè)試結(jié)果中表明，眼動(dòng)交互特別是針對(duì)于二維UI來(lái)說(shuō)其效率可以提高40%，這是在單純的UI交互上比手勢(shì)識(shí)別、語(yǔ)音識(shí)別還要快的一種交互方式。

除了交互以外，注視點(diǎn)渲染也會(huì)為整個(gè)VR產(chǎn)業(yè)革命帶去很大影響。現(xiàn)在VR設(shè)備的畫面之所以不夠清晰、計(jì)算量高，是因?yàn)槲覀儗?duì)于渲染的要求高。但是，我們戴上VR頭盔所看到的畫面也只是注視點(diǎn)所在的位置而已，旁邊的畫面是看不到的。這和我們現(xiàn)實(shí)生活中的真實(shí)對(duì)焦一樣，眼鏡看任何東西都是有焦點(diǎn)的，是接收不到焦點(diǎn)以外的信息的。

所以，在做VR渲染的時(shí)候，只渲染畫面注視中心的位置是非常實(shí)用的。也就是說(shuō)，我們只對(duì)注視中心的畫面進(jìn)行100%的渲染，將注視中心邊緣的畫面按照一定的比例進(jìn)行像素點(diǎn)和分辨率的降低，這樣就能夠有效的提升渲染速度以及降低渲染的計(jì)算量了。

在游戲當(dāng)中，眼控技術(shù)應(yīng)用的并不多，這里舉幾個(gè)簡(jiǎn)單的例子，例如菜單的調(diào)用。一般情況下，我們的游戲畫面中是不會(huì)顯示菜單的，只有當(dāng)玩家將眼鏡的注視點(diǎn)放到畫面的左上角或右上角時(shí)，菜單才會(huì)顯示出來(lái)。

另一個(gè)例子就是眼控手電筒。在游戲中特別是恐怖類游戲中，玩家的眼睛就是手電筒，眼睛的注視點(diǎn)就是手電筒光聚焦的那個(gè)點(diǎn)，這樣一來(lái)，游戲的恐怖效果就會(huì)更強(qiáng)烈一些。

隨著現(xiàn)實(shí)中戰(zhàn)斗機(jī)性能的越來(lái)越高，未來(lái)的戰(zhàn)斗機(jī)在對(duì)戰(zhàn)中很有可能就是用眼神去進(jìn)行目標(biāo)鎖定的，因?yàn)?strong>這種鎖定方式是最快的。七鑫易維目前做了一個(gè)游戲，是一款戰(zhàn)斗機(jī)瞄準(zhǔn)射擊游戲。玩家可以用眼神去鎖定戰(zhàn)斗機(jī)，用頭部的轉(zhuǎn)動(dòng)來(lái)控制戰(zhàn)斗機(jī)的視野。對(duì)于VR來(lái)說(shuō)，眼控技術(shù)其實(shí)就像是一個(gè)沒(méi)有確定鍵的鼠標(biāo)。

七鑫易維是全球第一個(gè)做到全視場(chǎng)角追蹤的公司。為什么要強(qiáng)調(diào)是全視場(chǎng)角呢？因?yàn)槿绻覀兊淖粉櫦夹g(shù)只能追蹤到畫面中心區(qū)域的話，計(jì)算機(jī)就不知道還有邊緣的部分了，那么追蹤的效果就會(huì)大打折扣。

要做高精度、低延遲的注視點(diǎn)渲染，需要隨時(shí)隨地采集到每一個(gè)人的注視點(diǎn)數(shù)據(jù)，這個(gè)數(shù)據(jù)的延遲必須非常小，因?yàn)槊總€(gè)人眼動(dòng)的速度非常的快，七鑫易維現(xiàn)在已經(jīng)可以做到120赫茲到380赫茲了。

第三個(gè)就是防抖。用戶在戴上頭盔后難免身體會(huì)隨著畫面進(jìn)行一些運(yùn)動(dòng)，但是這會(huì)造成眼睛和傳感器之間的劇烈抖動(dòng)，而這種抖動(dòng)會(huì)影響圖像的呈現(xiàn)效果。做好防抖，就是為了給用戶更好的體驗(yàn)。

七鑫易維近期會(huì)跟高通、AMD這樣的很多芯片上游公司進(jìn)行合作，幫助他們做注視點(diǎn)渲染。希望在不久的將來(lái)，VR行業(yè)里面就會(huì)出現(xiàn)由七鑫易維所提供的眼控技術(shù)標(biāo)準(zhǔn)。

我的演講到此結(jié)束，謝謝大家。

關(guān)注鎂客網(wǎng)微信公眾號(hào)（im2marker），將持續(xù)推出更多關(guān)于本次VR論壇精彩內(nèi)容。

最后，記得關(guān)注微信公眾號(hào)：鎂客網(wǎng)（im2maker），更多干貨在等你！