TikTok推出最新AR特效,iPhone 12 Pro的激光雷達(dá)終于有用了

jh 5年前 (2021-01-07)

最近TikTok上有一款A(yù)R特效十分火熱。 打開特效后,會發(fā)現(xiàn)手機屏幕中央出現(xiàn)一顆正在倒計時的圓球。 當(dāng)?shù)褂嫊r結(jié)束,這個球...

最近TikTok上有一款A(yù)R特效十分火熱。

打開特效后,會發(fā)現(xiàn)手機屏幕中央出現(xiàn)一顆正在倒計時的圓球。

當(dāng)?shù)褂嫊r結(jié)束,這個球便會爆炸,散開的紙屑精準(zhǔn)地掉落在沙發(fā)和地面,并展開一個“2021”的字樣,一切都仿佛現(xiàn)實中發(fā)生一般。

激光雷達(dá)只是用來輔助拍照?還可以用來AR特效!

基于激光雷達(dá)的AR特效

此前,TikTok就已經(jīng)內(nèi)置了多款A(yù)R特效,這些特效大多基于相機(視覺傳感器)、IMU(慣性測量單元)和GPS傳感器生成。在大多數(shù)場景下,這些傳感器能提供不錯的定位精度,但用戶的沉浸感和場景交互依然欠缺。

激光雷達(dá)只是用來輔助拍照?還可以用來AR特效!

從圖中來看,當(dāng)虛擬物體呈現(xiàn)在現(xiàn)實中的物體上時,并不能識別出物體的層次,導(dǎo)致缺乏真實的3D感,所以僅憑這些傳感器是遠(yuǎn)遠(yuǎn)不夠的。

解決問題的方法,就是增加新的傳感器。

例如iPhone 12 Pro上的LiDAR激光雷達(dá),通過測距解決部分距離上的交互問題,讓AR場景更富有層次感。這也是為何開篇中紙片掉落如此真實的原因。

在TikTok之前,知名“閱后即焚”App——Snapchat就宣布成為第一款使用iPhone 12 Pro激光雷達(dá)技術(shù)的iOS應(yīng)用。該公司程序員使用最新的LiDAR Scanner,在Snapchat中創(chuàng)建一個AR鏡頭,例如構(gòu)建一片虛擬植被,在周圍的房間里“種植”花草,讓墻壁“長出”鮮花、讓“苔蘚”爬上櫥柜上……

激光雷達(dá)只是用來輔助拍照?還可以用來AR特效!

得益于激光雷達(dá)的輔助,這些花草不再是簡單地浮現(xiàn)在最上層,而是可以通過測距改變位置,更顯立體效果。

從前沿走向大眾

作為一項前沿技術(shù),激光雷達(dá)最早被普遍運用在自動駕駛領(lǐng)域,簡單來說,就是發(fā)射激光—測量返回時間—計算距離,從而讓自動駕駛汽車感受到帶景深的環(huán)境信息。

在激光雷達(dá)的眼里:它看不到車、看不到路,但可以“摸”到好多點,通過連續(xù)掃描,從而得到一幅連續(xù)完整的三維世界。

就是這么一項技術(shù),被蘋果帶到了智能手機、Pad領(lǐng)域。

去年3月18日,蘋果更新了雙攝版iPad Pro 2020,后置攝像模組中新增了LiDAR模塊。在官網(wǎng)的介紹里,蘋果展示了三個典型場景:量身高、AR游戲和宜家的AR家庭裝修。

平心而論,對普通用戶來說,LiDAR帶來的體驗提升幾乎感受不到,最能直觀感受到的就只有對焦速度的改善。

但在專業(yè)玩家手上,搭載了LiDAR的iPad Pro 2020充滿了創(chuàng)造力,上述三個場景僅是一小部分。

總結(jié)下來,LiDAR主要可以用于三個部分:

1、提高AR應(yīng)用表現(xiàn):憑借激光雷達(dá)快速測距特性,讓設(shè)備快速進(jìn)入AR應(yīng)用環(huán)境,減少等待時間;同時由于激光雷達(dá)更精準(zhǔn)的測距表現(xiàn),可以讓AR應(yīng)用虛實結(jié)合更逼真,提供更良好的遮擋表現(xiàn),這方面AR特效就是最好的例子;

2、優(yōu)化拍照和視頻效果:基于高精度測距,實現(xiàn)快速對焦,且成果逼近單反相機的大光圈虛化效果;

3、實現(xiàn)3D掃描功能:同樣基于高精度測距,可以完成細(xì)節(jié)更良好的3D掃描效果。

前兩項是與普通消費者最息息相關(guān)的方面,而最后一項則讓普通用戶也能體驗到工業(yè)級3D才擁有的功能。

3D打印為例,以往3D掃描需要專業(yè)的系統(tǒng)相機陣列,即便是手持式的掃描儀也價格不菲。而當(dāng)使用了LiDAR的產(chǎn)品后,3D掃描就成為很簡單的一件事情。

布局未來AR生態(tài)

在蘋果的產(chǎn)品線中,頭戴式AR眼鏡是未來的重要產(chǎn)品線。但以目前的消費級AR硬件市場來看,除了Facebook與Google會給蘋果帶來壓力以外,AR眼鏡還是一個“歸于理想化”的產(chǎn)品,相比之下,用途更廣、用戶更廣的智能手機正是最好的AR設(shè)備。

蘋果AR部門主管Mike Rockwell曾表示:因為終端數(shù)量有限,打造原生VR/AR應(yīng)用并非易事,與之對比的是,支持AR的蘋果iOS設(shè)備已經(jīng)達(dá)到了數(shù)億臺的規(guī)模,這是一個龐大的市場。

目前要做的,就是讓現(xiàn)有的移動AR更加強大。

在iPhone 12系列發(fā)布當(dāng)天,Snapchat就宣布成為第一款使用iPhone 12 Pro激光雷達(dá)技術(shù)的iOS應(yīng)用。此后更多的應(yīng)用開始支持AR模式,這些內(nèi)置LiDAR的設(shè)備,讓用戶從原本的體驗AR,轉(zhuǎn)到創(chuàng)作AR層面。

綜合而言,蘋果現(xiàn)階段的做法是:鼓勵開發(fā)者將自己的應(yīng)用加入AR功能,從而搭建一個豐富的AR生態(tài)。

據(jù)知名供應(yīng)鏈網(wǎng)站Digitimes放出的消息稱,蘋果已與索尼簽訂一份為期三年的合約,確保在2023年前,提供可用于LiDAR感應(yīng)器的技術(shù),以及具備高效率偵測近紅外線波段區(qū)域的光線穿透材料(Near-infrared,NIR)。

而iPhone 13全系列都將標(biāo)配激光雷達(dá)掃描儀,這意味著原本屬于高端機型才有的LiDAR,將下放到入門級的手機,讓每位購買iPhone 13的用戶都能體驗到豐富的AR內(nèi)容。

正如我們所看到的,蘋果在這個領(lǐng)域的布局是深遠(yuǎn)的,或許在2022-2023年,消費級AR眼鏡的浪潮就由蘋果引發(fā)。

最后,記得關(guān)注微信公眾號:鎂客網(wǎng)(im2maker),更多干貨在等你!

鎂客網(wǎng)


科技 | 人文 | 行業(yè)

微信ID:im2maker
長按識別二維碼關(guān)注

硬科技產(chǎn)業(yè)媒體

關(guān)注技術(shù)驅(qū)動創(chuàng)新

分享到