TikTok推出最新AR特效,iPhone 12 Pro的激光雷達(dá)終于有用了

jh 5年前 (2021-01-07)

最近TikTok上有一款A(yù)R特效十分火熱。 打開(kāi)特效后,會(huì)發(fā)現(xiàn)手機(jī)屏幕中央出現(xiàn)一顆正在倒計(jì)時(shí)的圓球。 當(dāng)?shù)褂?jì)時(shí)結(jié)束,這個(gè)球...

最近TikTok上有一款A(yù)R特效十分火熱。

打開(kāi)特效后,會(huì)發(fā)現(xiàn)手機(jī)屏幕中央出現(xiàn)一顆正在倒計(jì)時(shí)的圓球。

當(dāng)?shù)褂?jì)時(shí)結(jié)束,這個(gè)球便會(huì)爆炸,散開(kāi)的紙屑精準(zhǔn)地掉落在沙發(fā)和地面,并展開(kāi)一個(gè)“2021”的字樣,一切都仿佛現(xiàn)實(shí)中發(fā)生一般。

激光雷達(dá)只是用來(lái)輔助拍照?還可以用來(lái)AR特效!

基于激光雷達(dá)的AR特效

此前,TikTok就已經(jīng)內(nèi)置了多款A(yù)R特效,這些特效大多基于相機(jī)(視覺(jué)傳感器)、IMU(慣性測(cè)量單元)和GPS傳感器生成。在大多數(shù)場(chǎng)景下,這些傳感器能提供不錯(cuò)的定位精度,但用戶的沉浸感和場(chǎng)景交互依然欠缺。

激光雷達(dá)只是用來(lái)輔助拍照?還可以用來(lái)AR特效!

從圖中來(lái)看,當(dāng)虛擬物體呈現(xiàn)在現(xiàn)實(shí)中的物體上時(shí),并不能識(shí)別出物體的層次,導(dǎo)致缺乏真實(shí)的3D感,所以僅憑這些傳感器是遠(yuǎn)遠(yuǎn)不夠的。

解決問(wèn)題的方法,就是增加新的傳感器。

例如iPhone 12 Pro上的LiDAR激光雷達(dá),通過(guò)測(cè)距解決部分距離上的交互問(wèn)題,讓AR場(chǎng)景更富有層次感。這也是為何開(kāi)篇中紙片掉落如此真實(shí)的原因。

在TikTok之前,知名“閱后即焚”App——Snapchat就宣布成為第一款使用iPhone 12 Pro激光雷達(dá)技術(shù)的iOS應(yīng)用。該公司程序員使用最新的LiDAR Scanner,在Snapchat中創(chuàng)建一個(gè)AR鏡頭,例如構(gòu)建一片虛擬植被,在周圍的房間里“種植”花草,讓墻壁“長(zhǎng)出”鮮花、讓“苔蘚”爬上櫥柜上……

激光雷達(dá)只是用來(lái)輔助拍照?還可以用來(lái)AR特效!

得益于激光雷達(dá)的輔助,這些花草不再是簡(jiǎn)單地浮現(xiàn)在最上層,而是可以通過(guò)測(cè)距改變位置,更顯立體效果。

從前沿走向大眾

作為一項(xiàng)前沿技術(shù),激光雷達(dá)最早被普遍運(yùn)用在自動(dòng)駕駛領(lǐng)域,簡(jiǎn)單來(lái)說(shuō),就是發(fā)射激光—測(cè)量返回時(shí)間—計(jì)算距離,從而讓自動(dòng)駕駛汽車感受到帶景深的環(huán)境信息。

在激光雷達(dá)的眼里:它看不到車、看不到路,但可以“摸”到好多點(diǎn),通過(guò)連續(xù)掃描,從而得到一幅連續(xù)完整的三維世界。

就是這么一項(xiàng)技術(shù),被蘋(píng)果帶到了智能手機(jī)、Pad領(lǐng)域。

去年3月18日,蘋(píng)果更新了雙攝版iPad Pro 2020,后置攝像模組中新增了LiDAR模塊。在官網(wǎng)的介紹里,蘋(píng)果展示了三個(gè)典型場(chǎng)景:量身高、AR游戲和宜家的AR家庭裝修。

平心而論,對(duì)普通用戶來(lái)說(shuō),LiDAR帶來(lái)的體驗(yàn)提升幾乎感受不到,最能直觀感受到的就只有對(duì)焦速度的改善。

但在專業(yè)玩家手上,搭載了LiDAR的iPad Pro 2020充滿了創(chuàng)造力,上述三個(gè)場(chǎng)景僅是一小部分。

總結(jié)下來(lái),LiDAR主要可以用于三個(gè)部分:

1、提高AR應(yīng)用表現(xiàn):憑借激光雷達(dá)快速測(cè)距特性,讓設(shè)備快速進(jìn)入AR應(yīng)用環(huán)境,減少等待時(shí)間;同時(shí)由于激光雷達(dá)更精準(zhǔn)的測(cè)距表現(xiàn),可以讓AR應(yīng)用虛實(shí)結(jié)合更逼真,提供更良好的遮擋表現(xiàn),這方面AR特效就是最好的例子;

2、優(yōu)化拍照和視頻效果:基于高精度測(cè)距,實(shí)現(xiàn)快速對(duì)焦,且成果逼近單反相機(jī)的大光圈虛化效果;

3、實(shí)現(xiàn)3D掃描功能:同樣基于高精度測(cè)距,可以完成細(xì)節(jié)更良好的3D掃描效果。

前兩項(xiàng)是與普通消費(fèi)者最息息相關(guān)的方面,而最后一項(xiàng)則讓普通用戶也能體驗(yàn)到工業(yè)級(jí)3D才擁有的功能。

3D打印為例,以往3D掃描需要專業(yè)的系統(tǒng)相機(jī)陣列,即便是手持式的掃描儀也價(jià)格不菲。而當(dāng)使用了LiDAR的產(chǎn)品后,3D掃描就成為很簡(jiǎn)單的一件事情。

布局未來(lái)AR生態(tài)

在蘋(píng)果的產(chǎn)品線中,頭戴式AR眼鏡是未來(lái)的重要產(chǎn)品線。但以目前的消費(fèi)級(jí)AR硬件市場(chǎng)來(lái)看,除了Facebook與Google會(huì)給蘋(píng)果帶來(lái)壓力以外,AR眼鏡還是一個(gè)“歸于理想化”的產(chǎn)品,相比之下,用途更廣、用戶更廣的智能手機(jī)正是最好的AR設(shè)備。

蘋(píng)果AR部門(mén)主管Mike Rockwell曾表示:因?yàn)榻K端數(shù)量有限,打造原生VR/AR應(yīng)用并非易事,與之對(duì)比的是,支持AR的蘋(píng)果iOS設(shè)備已經(jīng)達(dá)到了數(shù)億臺(tái)的規(guī)模,這是一個(gè)龐大的市場(chǎng)。

目前要做的,就是讓現(xiàn)有的移動(dòng)AR更加強(qiáng)大。

在iPhone 12系列發(fā)布當(dāng)天,Snapchat就宣布成為第一款使用iPhone 12 Pro激光雷達(dá)技術(shù)的iOS應(yīng)用。此后更多的應(yīng)用開(kāi)始支持AR模式,這些內(nèi)置LiDAR的設(shè)備,讓用戶從原本的體驗(yàn)AR,轉(zhuǎn)到創(chuàng)作AR層面。

綜合而言,蘋(píng)果現(xiàn)階段的做法是:鼓勵(lì)開(kāi)發(fā)者將自己的應(yīng)用加入AR功能,從而搭建一個(gè)豐富的AR生態(tài)。

據(jù)知名供應(yīng)鏈網(wǎng)站Digitimes放出的消息稱,蘋(píng)果已與索尼簽訂一份為期三年的合約,確保在2023年前,提供可用于LiDAR感應(yīng)器的技術(shù),以及具備高效率偵測(cè)近紅外線波段區(qū)域的光線穿透材料(Near-infrared,NIR)。

而iPhone 13全系列都將標(biāo)配激光雷達(dá)掃描儀,這意味著原本屬于高端機(jī)型才有的LiDAR,將下放到入門(mén)級(jí)的手機(jī),讓每位購(gòu)買(mǎi)iPhone 13的用戶都能體驗(yàn)到豐富的AR內(nèi)容。

正如我們所看到的,蘋(píng)果在這個(gè)領(lǐng)域的布局是深遠(yuǎn)的,或許在2022-2023年,消費(fèi)級(jí)AR眼鏡的浪潮就由蘋(píng)果引發(fā)。

最后,記得關(guān)注微信公眾號(hào):鎂客網(wǎng)(im2maker),更多干貨在等你!

鎂客網(wǎng)


科技 | 人文 | 行業(yè)

微信ID:im2maker
長(zhǎng)按識(shí)別二維碼關(guān)注

硬科技產(chǎn)業(yè)媒體

關(guān)注技術(shù)驅(qū)動(dòng)創(chuàng)新

分享到