扒一扒9.3閱兵直播如何采用虛擬現(xiàn)實(shí)技術(shù)

鎂客 10年前 (2015-09-05)

小編更期待2019年舉辦的大閱兵融入增強(qiáng)現(xiàn)實(shí)會(huì)是怎樣的,觀眾可以使用虛擬現(xiàn)實(shí)的方式身臨其境嗎?讓我們拭目以待吧!

扒一扒9.3閱兵直播如何采用虛擬現(xiàn)實(shí)技術(shù)1

虛擬現(xiàn)實(shí)技術(shù)是一門新興技術(shù),應(yīng)用十分廣泛。在去年的世界杯和今年的春晚的直播節(jié)目,我們都可以發(fā)現(xiàn)虛擬演播室的鏡頭。閱兵結(jié)束了,大家是否發(fā)現(xiàn)北京電視臺也采用了虛擬演播室技術(shù)?

在閱兵直播中,主持人一邊解說,虛擬的武器裝備就會(huì)在他身邊出現(xiàn),生動(dòng)形象的向觀眾展示了我軍裝備的威武雄壯,這可比干巴巴的文字或者圖片描述有趣多了。

扒一扒9.3閱兵直播如何采用虛擬現(xiàn)實(shí)技術(shù)2

什么是虛擬演播室技術(shù)?它可以說就是增強(qiáng)現(xiàn)實(shí)技術(shù)的一個(gè)子集。它同樣涉及到增強(qiáng)現(xiàn)實(shí)中如何將虛擬的元素和真實(shí)的場景疊加在一起的問題。細(xì)微的差別在于,虛擬演播室是將畫面呈現(xiàn)在電視的屏幕上,增強(qiáng)現(xiàn)實(shí)則是讓最后的畫面呈現(xiàn)在用戶的眼睛里。

因此,它的技術(shù)重點(diǎn)與增強(qiáng)現(xiàn)實(shí)大同小異:

第一是如何能夠精確地定位真實(shí)的場景;

第二是如何能夠渲染出虛擬的元素;

第三是如何實(shí)時(shí)地將虛擬的元素疊加在真實(shí)的場景上,然后返回到視頻流中。

在這里,最難的是如何將虛擬元素和真實(shí)的元素進(jìn)行疊加。

攝像機(jī)一旦運(yùn)動(dòng),真實(shí)的場景和虛擬的元素都必須同步配合這個(gè)運(yùn)動(dòng)。電視攝像的幀率是50FPS,也就是說,引擎需要每20ms就渲染出一幀,這是一個(gè)相當(dāng)高的要求。所以,系統(tǒng)內(nèi)就應(yīng)該要包括攝像頭的工作狀態(tài),包括位置和視角等等,虛擬引擎才能夠渲染出相對應(yīng)的畫面。

扒一扒9.3閱兵直播如何采用虛擬現(xiàn)實(shí)技術(shù)3

相應(yīng)的可以推出虛擬演播室的系統(tǒng)流程:

第一步的工作是采集攝像機(jī)的工作狀態(tài)信息,最重要的是攝像機(jī)的位置和它與真實(shí)場景的相對關(guān)系;然后將這些信息傳送給圖形工作站。

第二步則是依此得到前景物體與攝像機(jī)之間的距離和相對位置,從而計(jì)算出虛擬元素的大小、位置,并渲染生成虛擬元素。如果虛擬元素涉及到虛擬人物(比如世界杯節(jié)目里的虛擬球員,或者春晚上的陽陽),則往往還要涉及到動(dòng)作捕捉系統(tǒng):用真人的動(dòng)作實(shí)時(shí)的驅(qū)動(dòng)虛擬角色的動(dòng)作,然后呈現(xiàn)出來。

第三步,虛擬演播室系統(tǒng)會(huì)將主持人的實(shí)時(shí)畫面地與計(jì)算機(jī)產(chǎn)生的虛擬元素集成在一起,構(gòu)成一個(gè)現(xiàn)實(shí)中不存在的場景,并且實(shí)時(shí)向觀眾進(jìn)行廣播。

一般而言,這里會(huì)采用我們在電影花絮中常見的綠幕來遮蓋一切我們不想讓它出現(xiàn)在最后畫面中的場景元素,在專業(yè)中,這叫做“色鍵”。然后計(jì)算機(jī)會(huì)將相應(yīng)的顏色全部摳掉,將虛擬場景集合上去,最后就呈現(xiàn)出我們這次會(huì)在閱兵直播中看到的,威武雄壯的導(dǎo)彈發(fā)射車出現(xiàn)在主持人的旁邊。

隨著增強(qiáng)現(xiàn)實(shí)技術(shù)日臻成熟,虛擬演播室正在逐漸成為一種主流的演播室節(jié)目制作手段,而且已經(jīng)能夠成熟地運(yùn)用在商業(yè)直播中。

不過增強(qiáng)現(xiàn)實(shí)本身,還有很長一段路要走——因?yàn)橄M(fèi)者意義上的增強(qiáng)現(xiàn)實(shí)眼鏡要解決三個(gè)很多虛擬演播室所沒有的困難。

首先,虛擬演播室是在一個(gè)有控制的場景中應(yīng)用。有專門的設(shè)備采集攝像機(jī)的位置和場景本身的位置,而增強(qiáng)現(xiàn)實(shí)眼鏡則需要在大范圍內(nèi)應(yīng)用,這就需要時(shí)下計(jì)算機(jī)視覺中非?;馃岬募夹g(shù)領(lǐng)域SLAM(實(shí)時(shí)場景測量與建模)來幫助增強(qiáng)現(xiàn)實(shí)眼鏡“看到”并且“理解”周圍的環(huán)境。為了解決這個(gè)問題,Google開發(fā)了Project Tango項(xiàng)目。

扒一扒9.3閱兵直播如何采用虛擬現(xiàn)實(shí)技術(shù)4

其次,移動(dòng)的VR眼鏡所可能具備的計(jì)算能力要遠(yuǎn)遠(yuǎn)小于虛擬演播室技術(shù)中的商業(yè)級別工作站。所以其在高幀率下渲染虛擬元素的能力必然遠(yuǎn)遠(yuǎn)不如虛擬演播室,增強(qiáng)現(xiàn)實(shí)眼鏡的虛擬畫面必然不會(huì)像虛擬演播室那樣豐富和逼真。

最后,增強(qiáng)現(xiàn)實(shí)眼鏡的畫面最終是要投射到用戶的視網(wǎng)膜中。所以想要符合人體的視覺系統(tǒng)特質(zhì),顯示裝置要具備的能力會(huì)大大不同于普通的屏幕:讓人感覺到虛擬與現(xiàn)實(shí)的融合,顯示屏需要與人眼球的焦點(diǎn)匹配顯示虛擬元素的能力,目前只有微軟的HoloLens讓人信服地展示了這一種能力,而他們使用的是全息顯示屏。

不得不提,在今年E3微軟的發(fā)布會(huì)上,微軟使用了虛擬演播室的技術(shù)展示了HoloLens最終可以達(dá)到的效果——這個(gè)發(fā)布會(huì)上的可能是目前虛擬演播室能達(dá)到的最好效果。微軟同樣使用了復(fù)雜的攝像機(jī)追蹤技術(shù),展示了HoloLens的增強(qiáng)現(xiàn)實(shí),征服在場的觀眾。

扒一扒9.3閱兵直播如何采用虛擬現(xiàn)實(shí)技術(shù)5

在視頻網(wǎng)站等新型視聽媒體的沖擊下,國內(nèi)外的傳統(tǒng)電視媒體壓力驟升。為守住電視媒體的固有優(yōu)勢,不僅在節(jié)目形式上不斷地推陳出新,而且在制作的技術(shù)手段上也不斷嘗鮮。也許在電視臺的推動(dòng)下,虛擬演播室的技術(shù)將高速發(fā)展。所以,2019年舉辦的大閱兵融入增強(qiáng)現(xiàn)實(shí)會(huì)是怎樣的,觀眾可以使用虛擬現(xiàn)實(shí)的方式身臨其境嗎?讓我們拭目以待吧!

最后,記得關(guān)注微信公眾號:鎂客網(wǎng)(im2maker),更多干貨在等你!

鎂客網(wǎng)


科技 | 人文 | 行業(yè)

微信ID:im2maker
長按識別二維碼關(guān)注

硬科技產(chǎn)業(yè)媒體

關(guān)注技術(shù)驅(qū)動(dòng)創(chuàng)新

分享到