本期超V對話與數(shù)字虛擬影像精英論壇合作推出特別篇，對話Facebook（臉書）虛擬現(xiàn)實(shí)研究實(shí)驗(yàn)室（Facebook Reality Labs）高級技術(shù)美術(shù)指導(dǎo)劉曉雨。

今天，由VR陀螺聯(lián)合中國電信天翼云VR、人民網(wǎng)5G創(chuàng)新中心聯(lián)合打造首檔VR虛擬訪談節(jié)目《超V對話》第五期在天翼云VR App（4K VR版）、人民網(wǎng)5G頻道、騰訊視頻、Bilibili、優(yōu)酷、Youtube等各大視頻網(wǎng)站同步播出。

視頻鏈接https://v.qq.com/x/page/z31006v3gov.html

本期超V對話與數(shù)字虛擬影像精英論壇合作推出特別篇，對話Facebook（臉書）虛擬現(xiàn)實(shí)研究實(shí)驗(yàn)室（Facebook Reality Labs）高級技術(shù)美術(shù)指導(dǎo)劉曉雨，其多年從事VR和AR相關(guān)的交互設(shè)計(jì)和3D研究開發(fā)工作，將從VR/AR交互、內(nèi)容開發(fā)、發(fā)展趨勢等多方面帶來干貨分享。

以下為本期訪談的上篇：

Q：現(xiàn)在劉老師任職于Facebook虛擬現(xiàn)實(shí)研究實(shí)驗(yàn)室，請介紹一下現(xiàn)在自己從事的工作可以嗎？

劉曉雨：我其實(shí)現(xiàn)在是在Facebook做研究院的一些工作，但是鑒于一些保密項(xiàng)目，我不能說具體的是在做什么，我可以分享一下我過去幾年在做什么東西。

首先我剛?cè)ッ绹臅r候，我的工作與電影和動畫相關(guān)，然后大概是在4~5年前，我接觸到了一些交互和VR相關(guān)的東西，然后從此我就決定要多做一些和游戲、和最前沿的技術(shù)相關(guān)的一些產(chǎn)品，或者是很有娛樂性的東西。最后在過去的3~4年，我一直在做VR和AR相關(guān)或者是交互相關(guān)的游戲產(chǎn)品或各種展示、各種研究。

Q：疫情現(xiàn)在對FB研究的這些項(xiàng)目會有影響嗎？

劉曉雨：如果你公司里面有員工是要做那種需要到實(shí)驗(yàn)室，需要到辦公室去做的工作；比如說要去碰一些研究的東西、硬件什么的，可能你需要回到辦公室。但是我做的東西主要還是在軟件方面，所以說有一個頭顯和一個電腦基本上90%以上的工作是可以的。

Q：我們先來聊一下劉老師非常擅長的一個交互設(shè)計(jì)的部分，交互設(shè)計(jì)是一門非常深的學(xué)問，涉及到行為學(xué)心理學(xué)，不僅要考慮到個人的一些行為習(xí)慣，還要平衡設(shè)備技術(shù)是否能夠?qū)崿F(xiàn)，老師之前在研究一些新的交互的時候會遵循一些特定的邏輯嗎？

劉曉雨：對，會有一些不管是技術(shù)還是設(shè)計(jì)上的一些規(guī)則。比如說首先我本身不是一個純交互設(shè)計(jì)師，我是做3D偏技術(shù)應(yīng)用方面的交互，更多的是和代碼、軟件相關(guān)，不怎么把它們運(yùn)用在真正的那種交互上，所以我可以更側(cè)重于在應(yīng)用方面做一講解。

當(dāng)我們做一款游戲或者是產(chǎn)品的時候，我們有些考量。比如說是你設(shè)計(jì)一種交互，你適用用手做一些動作或者是完成一些任務(wù)的話，首先你要感覺你的一個動作會不會讓用戶感覺到疲勞。第二點(diǎn)，比如我在虛擬世界中做怎么樣的動作，會讓這個用戶感覺在做這個動作像跟在現(xiàn)實(shí)世界中一樣；比如說你在虛擬世界做一種交互，這種交互不是比現(xiàn)實(shí)世界中更高效；比如說你用一種虛擬鍵盤來打字，或者是用一種虛擬的手柄，又或者是桌子玩一些游戲，它會不會娛樂性和高效率方面比真實(shí)世界中能更好。

Q：Oculus Quest手勢識別功能近期上線，不久前他們也有消息稱Facebook正在開發(fā)PinchType的VR/AR手勢追蹤鍵盤，是一種新型的輸入方法，您認(rèn)為這種方式會變成跟PC的鍵鼠一樣普及交互方式嗎？

劉曉雨：首先它也是一個鍵盤，只不過是一個虛擬鍵盤，它在虛擬世界中和真實(shí)世界中的形狀不一樣。

首先從算法上來說，現(xiàn)在咱們用的是手柄，咱們的手是一個固定的動畫，你需要按鈕來做一些動作，展示里的手是完全自由的手，這個方面確實(shí)有挑戰(zhàn)。但是你可以看Oculus最近幾個月發(fā)布的視頻，公開的視頻的進(jìn)度，你可以發(fā)現(xiàn)它是越來越好的，它的追蹤會越來越穩(wěn)定，甚至有些可以追蹤到一個手和手之間遮擋，算法上面其實(shí)進(jìn)步是很大的。

我覺得這種挑戰(zhàn)可能會在幾年之內(nèi)被克服得很好，有很好的進(jìn)度。但是我想說的是哪怕算法解決了，也許這種鍵盤還是不是會很快的取代現(xiàn)實(shí)的那種鍵盤操作，我覺得可能有幾個原因：首先基本上現(xiàn)在世界上只要你用過電腦的人都會用鍵盤，這種交互你已經(jīng)用了十幾年、二十幾年、三十幾年，已經(jīng)深入到你的肌肉記憶里面，如果真的有一款新的東西進(jìn)來，不管它是虛擬的還是非虛擬的，都是需要一個很長的時間，或者有一個群體來促進(jìn)這種概念。

舉個例子，我曾經(jīng)在紐約上學(xué)的時候，當(dāng)時學(xué)校的項(xiàng)目是一個做交互和做3D的，各種稀奇古怪的一個專業(yè)，然后其中有一個同學(xué)做了一款非常有意思的展示——機(jī)械手套，可以打字，適用不同的手指的結(jié)合來激活，效率非常高，他給我們展示他的打字速度是比一般人用鍵盤打字要快。但是即使如此，他試圖把他技術(shù)推廣到學(xué)校里面，但真正想推廣起來還是挺困難的?，F(xiàn)在Pico的一款手柄設(shè)計(jì)，每個手柄所有的東西都是不一樣的，包括現(xiàn)在大家設(shè)計(jì)內(nèi)容也會根據(jù)不同的手柄來設(shè)計(jì)不同的按鍵方式。

Q：您覺得現(xiàn)在有沒有比較好的一種方法來將它們統(tǒng)一，或者是說您覺得手柄的設(shè)計(jì)應(yīng)該從哪些方面來考量？

劉曉雨：我可以說一下我的看法，首先我不是一個設(shè)計(jì)硬件的人，但是我用過很多的軟件，我也做過很多的那種游戲和應(yīng)用，還有設(shè)計(jì)一些交互。我個人認(rèn)為最開始的 HTC Vive的那一套系統(tǒng)是不錯，但是手柄本身太笨重了，它沒有用傳統(tǒng)意義上游戲的旋鈕，而是一個觸摸板，其實(shí)很多玩家是有一些抱怨，就是說它可能沒有像之前的Play Station，PS一樣。

比如說Oculus Touch的，它的好處是很符合手型，包括它有一些較近距的感應(yīng)器，就是你的手放在不同的控制器上，在3D世界里你可以看到你的手張合，它不是一個純按鍵，它的識別是比較有突破性的，對游戲體驗(yàn)是很有幫助的。和Vive的第一款控制器相比，我感覺他有一點(diǎn)像Oculus控制器，Pico的控制器其實(shí)算是我第二次用，感覺到重量其實(shí)挺輕的，但是我用時間不長，沒法做什么評論。

我最近最喜歡的是光手追蹤的，這是比較重要的一個突破。我感覺Vive和HTC可能是一個硬件生產(chǎn)廠，受到了Oculus Touch的啟發(fā)，第二代它有容器桿，很多游戲的移動都是用游戲桿，這個是符合傳統(tǒng)游戲玩家的感覺的，再就是比較貼合手型，確實(shí)是最新的一種發(fā)展趨勢。

Q：現(xiàn)在其實(shí)您的觀點(diǎn)會不會就覺得沒有哪種代替哪種，或者是完全就只有一種了？

劉曉雨：我覺得現(xiàn)在的硬件還是沒有一個完全統(tǒng)一的交互形式。比如說我的按鈕，我的A在上面，B在下面；或者是我的按鈕，多大多小，在左在右；還有你的手拿的是一個長柄，還是個圓球，這些都不一樣的。我個人覺得最終手勢或者是純的手，甚至是其他身體部位的識別，會是一個最終的趨勢。

如果你真的是可以隨時隨地在3D里探測到自己的手，交互也許不是按鈕的形式了，而是可以拿一個觸摸板，你可以用另一只手在上面劃，這樣的話不管是對游戲開發(fā)者還是對用戶，其實(shí)都是一個非常符合直覺的一種方式，可以統(tǒng)一很多的因素。比如說有的游戲是為knuckles設(shè)計(jì)的，有的游戲是為Oculus Touch設(shè)計(jì)的，你把適用于這款控制器的游戲，放到其他的控制器上玩可能就很不舒服。我覺得最終的趨勢可能會是手部識別，或者是你可能手上會有一些硬件，硬件是為了輔助你的手部識別，而不是一種按鈕的不同擺布。其實(shí)我們最近也看了Oculus Quest上的手勢，它已經(jīng)能夠做到很精準(zhǔn)了，實(shí)際上面對一些比如說很復(fù)雜的操作，能夠?qū)崿F(xiàn)的還是相對比較少。

Q：在內(nèi)容的開發(fā)上，尤其是針對最容易產(chǎn)生旋暈的移動方式，不管是平移、勻速平移、瞬移，還有擺臂來實(shí)現(xiàn)移動，有很多不同的移動方式。針對這個最基礎(chǔ)的問題，你認(rèn)為在移動交互設(shè)計(jì)上什么方式最適合VR？

劉曉雨：我一直在想這個問題，并沒有一個精確的答案。因?yàn)槲抑霸谧鲇螒虻臅r候，本身是一個其實(shí)挺容易眩暈的人，比如說之前參與過一款 Steam上面的VR游戲，當(dāng)時我們做完這個游戲，需要做不停的測試，包括也需要找一些玩家來做預(yù)測試，我自己暈自己的游戲，但是很多玩家卻沒事，這個可能是因人而異。

我們當(dāng)時研究不同的方式，比如說有瞬移、黑起黑落的瞬移，或者是要用一些手勢來跑步、擺臂，但是其實(shí)每個人有每個人不同的傾向，我個人傾向的是瞬移加黑起黑落。另外一點(diǎn)，就是性質(zhì)在真實(shí)的移動，我覺得這可能比較困難，在船上、飛機(jī)上、車上，否則我覺得這種移動方式是不可能涵蓋很大范圍游戲的題材。除此以外，我目前沒有想到別的，你要是問我最覺得什么是對的，我肯定覺得是讓我最舒服的。

Q：瞬移就很出戲，它在游戲里面有點(diǎn)類似于作弊，不然很多時候要靠跑跟其他怪物來斗智斗勇，如果能夠瞬移的話，相當(dāng)于作弊了。

劉曉雨：這個也是看有沒有游戲開發(fā)者能夠把這種所謂的作弊和帶引號的作弊和游戲連在一起，比如說有些人喜歡用瞬移，有些人喜歡用手勢，但是你設(shè)計(jì)一款游戲，讓做手勢的人和瞬移能達(dá)到難度是一樣的。舉個例子，你可以瞬移的時候掉一點(diǎn)血，或者是你少一些其他的屬性之類的，反正就是一個挺復(fù)雜的問題，需要平衡。

Q：國內(nèi)近期上的一個VR游戲《半衰期：愛莉克斯》，不管是抓石頭，開門拿著筆去畫畫，這些都跟真實(shí)交互是一樣的，您覺得怎么來看待這種交互設(shè)計(jì)？與現(xiàn)有的硬件設(shè)備存在的矛盾點(diǎn)該怎么解決呢？

劉曉雨：有些VR醫(yī)療里面要做的很細(xì)，我想要捏取某個東西，但是現(xiàn)在的手柄其實(shí)只能夠做到這種大范圍的抓取動作，其實(shí)還是挺難平衡的。首先交互是對的，更開放了，更多手勢，而不是一個按鈕。為了游戲性的話，還是需要按扭來做一些很堅(jiān)定的動作，基本上我覺得這個趨勢是好的。手勢和手的識別是一種趨勢，有時候如果你的手拿一個東西，哪怕手勢識別到了，可能你沒有回饋，你就不知道你在摸這個東西。你就會需要一些物理上的回饋，有一種可能會用手套，手套本身當(dāng)然什么方法都可以了，可以內(nèi)外追或者外內(nèi)追，它本身有馬達(dá)，傳感器也可以追蹤。

Q：從劉老師個人關(guān)于技術(shù)美術(shù)方面的經(jīng)歷來看，我看您自己其實(shí)也做了挺多的VR游戲，從您TA的角度來看，您認(rèn)為在一個VR作品里面，TA的作用和價值會有多大呢？他是不是非常必要的一個角色呢？

劉曉雨：TA是一個很典型的多功能角色，你需要知道一些3D，你需要知道一些程序技術(shù)，兩方面基本都要碰，這是TA本身存在的一個價值。小團(tuán)隊(duì)也應(yīng)該有技術(shù)美術(shù)這個職位，哪怕只有一個人。舉個例子，比如說你有兩個島，你只有一個橋你也可以過去，但是你如果一條橋都沒有，你過不去。

TA在團(tuán)隊(duì)里頭是作為中間橋梁的作用。TA在VR團(tuán)隊(duì)中的一個主要工作內(nèi)容，舉個例子，TA是技術(shù)美術(shù)，首先其中一個職能是要做一些給藝術(shù)家使用的工具，或者是做一些讓藝術(shù)家之間，或藝術(shù)家和工程師之間相互溝通的工具。就是工具的不同類型也分很多種，也會做一些跟渲染和優(yōu)化相關(guān)的工作，比如說3D藝術(shù)家做一個模型，技術(shù)美術(shù)保證它的質(zhì)量，并保證它在機(jī)器里能運(yùn)轉(zhuǎn)。TA是一個帶引號的無所不能的一個職位，如果你不是一個多模型的，如果你不是一個做前期概念設(shè)計(jì)的，如果你不是一個做程序的，如果你不是一個科學(xué)家，那么你可能就是TA。

Q：TA涉及工具制作是指，完全需要自己根據(jù)需求來開發(fā)出來嗎？

劉曉雨：首先這些引擎里面是帶有這些工具，游戲引擎開發(fā)商做的工具往往是有必要的工具他們才會做，但是往往呢，TA要做的一些工具，你在做一個特別的游戲，或者一個特別的電影類的一個展示或者是一種體驗(yàn)，這種工具游戲開發(fā)商是不屑于開發(fā)，所以這些活要不然就是會落在一個團(tuán)隊(duì)里的叫圖形工程師上面，要不然就是TA上面。因?yàn)門A是介于圖形工程師和3D藝術(shù)家之間的一個職位。

Q：在做優(yōu)化上面，有一些比較好的建議嗎？

劉曉雨：關(guān)于從PC端植入到移動端的優(yōu)化上面，3D里面是要用幾何體的三角形來構(gòu)成一個面數(shù)來構(gòu)成模型，面數(shù)越少越好，當(dāng)然材質(zhì)用的越少越好。這兩個是比較常用的，也是基本上所有游戲都會考慮到的一個因素。但是到VR里這個就會變得更加嚴(yán)苛，比如說你在VR里你就會有兩個眼睛，有兩個眼睛相當(dāng)于屏幕里面你需要渲染兩次。但在CPU方面、GPU方面可能會更快速一些，不需要藝術(shù)家來做一些工作，這方面的優(yōu)化就顯得格外重要。除此以外優(yōu)化還有另一方面，比如說在一些材質(zhì)上，要做不同材質(zhì)的不同材料，有時候你看能不能用最少的材料模型來做出一個同樣的效果，優(yōu)化包括這幾方面。

Q：有兩種不同的聲音，一方面大家在VR里面變得更真實(shí)，但是另一方面又想說因?yàn)樘鎸?shí)了，反而會產(chǎn)生恐怖谷效應(yīng)，所以您對這個觀點(diǎn)怎么看？

劉曉雨：因?yàn)槲覀兤鋵?shí)看 Facebook的Horizon是一個更卡通的形象，它其實(shí)沒有做得非常真實(shí)。我覺得卡通和真實(shí)都是有它的用途的，比如說像那種 Facebook社交的數(shù)字角色，卡通是可以接受的，大家知道那個是游戲里面的代表，就像你和我之間現(xiàn)在是一個卡通類的人，我們不會覺得有什么奇怪。因?yàn)槲覀冎牢覀兪窃赩R世界里面，通過一個VR平臺來交流。

但是現(xiàn)在有很多游戲制作組，他們做的東西就是非常像真人，它是要表達(dá)非常真實(shí)的一個故事，比如說戰(zhàn)爭，虛擬世界里才能表達(dá)出這個游戲的意思。我覺得做卡通和做真實(shí)這兩個方面的應(yīng)用都有，但是可能不會有很多人做中間，就是中間也不會做一個又不太像卡通，又不太很真實(shí)的一個領(lǐng)域。因?yàn)檫@樣做就會像你說的，會出現(xiàn)那種恐怖谷的效應(yīng)。不管虛擬還是現(xiàn)實(shí)，你做到一定程度越來越真，大家都會很有好感，因?yàn)樗裾嫒?，更貼近自己，但當(dāng)他到一定程度之后，你會發(fā)現(xiàn)他和真人很類似，但是他到不了極其逼真的角色，那么你就可能會有一種生化危機(jī)的感覺，這就是所謂的恐怖股的理論。舉個例子，F(xiàn)acebook最近幾個月有一些很真實(shí)的，你戴上頭盔可以看見對方臉，完完全全真實(shí)恢復(fù)那種互相的交流，兩個人可以看到他們的腦袋互相說話。

最后，記得關(guān)注微信公眾號：鎂客網(wǎng)（im2maker），更多干貨在等你！