無論是什么形式的VR內(nèi)容，如果能夠在體驗(yàn)的時(shí)候聽到有距離和層次的聲音，將會(huì)大大增加沉浸感體驗(yàn)。

當(dāng)我們觀看VR視頻時(shí)，往往會(huì)有種錯(cuò)覺，聽得到耳機(jī)里有聲音，但是卻搞不清聲音從哪里傳來；或者是偏個(gè)頭換了觀看視角，但是聲音并沒有隨著我們的視角“轉(zhuǎn)過來”，它仍然在原來的地方。確實(shí)，如果VR內(nèi)容里的音頻處理不好，沉浸式體驗(yàn)效果將會(huì)大打折扣。比如小編之前玩過一個(gè)VR射箭游戲，雖然人是在虛擬環(huán)境里，但是耳朵里聽到的都是外面嘈雜的環(huán)境聲。

什么是VR音頻

VR音頻的概念，其實(shí)可以和3D音頻掛鉤。簡(jiǎn)而言之，VR音頻，就是通過耳機(jī)或者音箱，結(jié)合頭部追蹤等技術(shù)，讓體驗(yàn)者在轉(zhuǎn)動(dòng)頭部等動(dòng)作的時(shí)候可以聽到自己各個(gè)方向不同距離和強(qiáng)度的聲音。

通俗來說，就是用戶在現(xiàn)場(chǎng)實(shí)際能聽到，能帶來臨場(chǎng)感的聲音。有做VR音頻的業(yè)內(nèi)人士介紹道，“比如說在酒館里的一個(gè)場(chǎng)景，大家在討論、喝酒以及各種聊天的聲音，你在那兒聽的聲音就應(yīng)該是你覺得在現(xiàn)場(chǎng)的聲音，而且要和視頻無縫對(duì)接。”

但是相比較現(xiàn)在VR體驗(yàn)上的一些眩暈、視覺上的問題，聲音其實(shí)被很多人忽視了。不過隨著越來越多的公司進(jìn)入到VR視頻內(nèi)容創(chuàng)作領(lǐng)域中，VR音頻正在成為大家攻堅(jiān)的一個(gè)新方向。

在VR音頻中，這些公司在行動(dòng)

傳統(tǒng)的音頻技術(shù)公司杜比實(shí)驗(yàn)室，和專注于VR視頻拍攝制作的Jaunt展開合作，在Jaunt的VR內(nèi)容融入了杜比全景聲，用戶通過Jaunt VR應(yīng)用可以輕松訪問到所有支持杜比全景聲的虛擬現(xiàn)實(shí)體驗(yàn)。

2015年4月，谷歌收購(gòu)了專門為VR打造現(xiàn)實(shí)音效的初創(chuàng)公司Thrive Audio，THRIVE Audio是一家誕生于都柏林大學(xué)圣三一學(xué)院（Trinity College Dublin）工程系的公司，它專注于設(shè)計(jì)可以體驗(yàn)3D音頻的耳機(jī)。

2016年5月份，F(xiàn)acebook收購(gòu)VR音頻公司Two Big Ears。Two Big Ears是一家位于蘇格蘭的初創(chuàng)型企業(yè)，專門為全景視頻等內(nèi)容打造空間音效。Two Big Ears把其音頻軟件免費(fèi)提供給感興趣的VR內(nèi)容制作人，而Facebook借此機(jī)會(huì)來吸引更多的人打造VR內(nèi)容。

英偉達(dá)推出專門用于虛擬現(xiàn)實(shí)場(chǎng)景的“VRWorks Audio”音頻技術(shù)，VRWorks Audio利用英偉達(dá)OptiX光跡追蹤引擎，能夠即時(shí)追蹤環(huán)境中的多個(gè)聲音路徑，真實(shí)的反映出周圍環(huán)境中物體的大小、形狀和材料。

Oculus授權(quán)VisiSonic的音頻技術(shù)，并最終將其融入Oculus Audio SDK 中。這項(xiàng)技術(shù)經(jīng)過定制的HRTF算法，可以實(shí)時(shí)計(jì)算出游戲世界中聲源的方位與距離信息。

2017年，Valve收購(gòu)了一家叫Impulsonic的VR音頻公司，該公司為游戲開發(fā)者創(chuàng)建了基于物理原理的空間音頻定位軟件。他們的產(chǎn)品Phonon 3D可以讓開發(fā)者為他們的3D環(huán)境及VR體驗(yàn)增加雙聲道3D音頻。

對(duì)于普通消費(fèi)者來說，或許會(huì)疑惑，如何在只有雙聲道立體聲輸出的耳機(jī)上聽到來自各個(gè)方向的聲音呢？其實(shí)，如果想要得到理想的VR音頻，從音頻的采集到編輯制作以及最后的合成輸出，整個(gè)流程需要攻克很多技術(shù)難題。目前業(yè)內(nèi)比較成熟的解決方案也不少，但是大部分都還停留在理論的層面，實(shí)際應(yīng)用的案例少之又少。

VR音頻如何采集錄制？

HRTF（人頭傳遞函數(shù)）

首先我們科普一下一種叫做雙耳錄音（Binaural recording）的技術(shù)。這個(gè)技術(shù)能夠逼真的模擬人耳對(duì)聲音定位以及頻率的響應(yīng)。HRTF就是基于這個(gè)技術(shù)用數(shù)學(xué)模型來建模的一種音頻定位算法。通過HRTF的算法，能夠在最終輸出的音頻中還原出音源的方向和距離。

在實(shí)際運(yùn)用中，HRTF可以想象成是一個(gè)濾波器，對(duì)原始聲音進(jìn)行頻段上的調(diào)整，使其接近人耳接收到的聽感效果。

Waves的Nx技術(shù)

Waves的Nx技術(shù)核心是用算法將傳統(tǒng)錄音中缺失的信息插入到信號(hào)中，以此來讓大腦在聆聽音樂時(shí)獲得空間感。為了增強(qiáng)現(xiàn)場(chǎng)感，Nx技術(shù)還允許用戶鍵入個(gè)人頭部及耳朵的尺寸信息，算法可以根據(jù)這些信息進(jìn)行實(shí)時(shí)調(diào)整。

它提供了一個(gè)叫Head Tracker 硬件，這個(gè)集成了陀螺儀的硬件可以綁定到耳機(jī)上，然后電腦實(shí)時(shí)計(jì)算陀螺儀變化后聲像的變化，再配合英特爾的Real Sense攝像頭，Waves提供的軟件就能追蹤頭部移動(dòng)，在耳機(jī)中獲得具有沉浸感的聲音體驗(yàn)。

Ambisonics

Ambisonics是一種研發(fā)于上個(gè)世界70年代的球形環(huán)繞聲技術(shù)。它既是一種錄音制式，也是一種編解碼算法。

從錄音制式來看，Ambisonics可以理解為是M/S立體聲錄音制式的三維擴(kuò)展，以一定方式組合的四個(gè)振膜陣列記錄了具有高度和深度信息的四軌聲音信號(hào)。

從編解碼方式來看，采用 Ambisonics 方式錄制得到的聲音信號(hào)可以通過計(jì)算變換后，以雙聲道立體聲、5.1、7.1，甚至是11.1、22.2等各種多聲道環(huán)繞聲格式來輸出。另外，Ambisonics可以作為一種音頻文件格式用于保存和流通，YouTube在去年推出的支持全景視頻的音頻格式就采用了Ambisonics技術(shù)。

無論是采取哪種形式采集錄制VR音頻，最終的目的都是能夠在VR中感受到真正具有沉浸感的聲音?？偟膩碚f，相比較2016年前半段時(shí)間，現(xiàn)在已經(jīng)有越來越多的大公司開始布局VR音頻。不過想要真正實(shí)現(xiàn)虛擬現(xiàn)實(shí)中的臨場(chǎng)音頻效果，還需要面對(duì)采集成本、現(xiàn)場(chǎng)干擾等等因素，路漫漫其修遠(yuǎn)兮，VR音頻還需要“上下求索”。

最后，記得關(guān)注微信公眾號(hào)：鎂客網(wǎng)（im2maker），更多干貨在等你！