iPhone X 賺足了目光,但是同台出現的ARKit代表着未來

編者按:本文來源:知乎,作者:蔣佳憶,天貓互動技術專家;36氪經授權發佈。

本文首發於6月,系作者在知乎問題《如何評價蘋果在 WWDC 2017上發佈的 ARKit?》下的回答;美國時間12日,蘋果發佈會在在Apple Park新總部舉辦,其中蘋果公司的ARKit再一次吸引了的公眾目光。ARKit的出現意味着什麼,對行業有什麼影響?本文可以為大家解答。

正文如下:

從事AR這段時間,除了看到Hololens以外還沒有這麼激動過,手機碼字格式很爛,各種圖之後補上~

首先說明我是強利益相關者,原國內某AR創業公司算法工程師,現國內某互聯網公司AR算法研發...以下點評主要面向AR同行,有些技術詞彙我也不多做解釋了,不明白的同學還請百度。

坦白說,看到蘋果發佈ARkit並不意外,畢竟蘋果是除了微軟以外在AR布局最完整的公司之一,很多優秀的AR技術公司都被蘋果收購雪藏,早在去年參加Project Tango的Hackathon的時候我已經預言過蘋果一定會有動作。但是有兩點是我沒想到的,一個是蘋果發佈的時間這麼快,另一個是居然沒有依賴於任何硬件的升級。

從截圖可以看到發佈會使用的是一台iPad,
而且比較肯定是單目攝像頭,考慮到蘋果的工程能力,ARkit應該可以支持大部分蘋果的設備(以我個人經驗至少可以到5S及同水準iPad),這個也符合發佈會上蘋果說的世界上最大的AR平台的定位。
那麼回頭來點評一下ARkit,我們看看它到底帶來了什麼功能:

第一,快速穩定的運動定位,這個是最基本的AR功能,從演示中可以發現整個定位非常穩定且準確,說明精度很不錯,桌面的特徵並不算豐富,說明魯棒性很好,最後渲染的Demo模型很複雜,但是感覺很流暢,說明實時性和算法能耗都深度優化過。從發佈會的整個演示來看,ARkit的水準應該是業內頂級的。

第二,平面和邊界的估計,平面估計在單目SLAM上並不稀奇,只是從演示中很難判斷是基於三維點雲擬合還是IMU數據,初始化的方式看起來更像是基於IMU的。邊界估計這個之前不常見,演示中唯一可以看出來的是那個虛擬小人掉到桌子外(當時過於震驚而沒有截屏),說明ARkit可能不是像snapchat那樣簡單的VIO類算法,(從放出來的文檔看就是VIO...)點雲構建的部分是有一定輸出的。

第三,光照估計,這個不好說,單目做光照估計的需求很可能和算法本身的架構有關(直接法?),以什麼形式輸出不看到接口很難判斷,大部分的AR應用是不需要這類數據的,除非是要基於實際光照做高還原的真實渲染。

第四,尺度估計,這個就非常厲害了,做單目SLAM的同學都有了解,單目是無法解決尺度問題的,雖然視頻里沒有展示,但是如果真的解決了尺度問題,說明蘋果在IMU和視覺融合方面做了非常先進的工作,而且工程化的非常好,很期待這個功能的實際體驗。

第五,對各個開發平台或引擎的支持,這點說明蘋果做AR絕對是「蓄謀已久」的,並且野心很大,不給其他對手留餘地,一上來就要建立一個完整且廣泛的AR內容開發生態。

總體來說,ARkit基本實現了單目+IMU的SLAM算法可以提供的大部分功能,並且質量很高,我相信蘋果是嚴格檢查過機型覆蓋率,實時性和能耗的,那麼毫無疑問,憑藉廣泛的硬件覆蓋率,iOS會成為最有活力的AR內容發佈平台,PMGO的體驗肯定有質的飛躍,一大波真-AR遊戲應用將會到來~

再來,分析一下目前ARkit有何不足:

第一個不足是三維重建的能力,無論從文字解釋還是Demo演示來看,目前的ARkit僅僅支持平面的「重建」,這裡姑且先算做重建,因為是否支持垂直面,任意角度的平面,甚至多個平面目前都還不確定(從目前發出來的文檔看只支持水平面,說明平面的擬合可能是依賴於IMU的,僅用部分點雲判斷深度信息)。就算ARkit包含完整的平面重建能力,對於AR應用來說依然還是不足夠的。增強現實最基礎的要求是對現實世界的理解,比如幾何體的重建,這方面缺失帶來的問題就是無法和真實世界的物體發生合理的物理碰撞,比如演示中看到一個虛擬小人掉下桌子,我們是看不到這個小人掉落到地面的效果的。另外就是虛實遮擋,假設桌面上有一個水杯,那麼如果無法重建水杯的Mesh,我們就看不到水杯遮擋住虛擬模型的效果,而會看到虛擬模型「疊加」在水杯之上,這個會比較影響整個AR的體驗。當然我相信以蘋果的實力,想做重建並不是沒有辦法可想。

這裡我有兩個猜測,一個可能是三維重建的流程,交互和接口蘋果還在優化中,目前AR基本的功能接口已經足夠發佈了,蘋果想慢慢來。另一個可能是蘋果想依託於硬件來解決三維重建的問題,眾所周知單目做實時三維重建是非常有難度的,而基於雙目或深度攝像頭則可以相對簡單的解決這個問題,順便蘋果還可以展現9月份即將發佈的iPhone8的「特殊」,兩全其美~

第二個不足,就是識別的能力,目前AR最火爆的應用場景其實不是遊戲而是線下營銷,而線下AR營銷非常依託於識別算法和定位算法的對接。蘋果可以在移動端單目設備上做出這樣成熟的SLAM算法,單純的識別和定位應該都不是問題,難點可能在於定位算法如何跟識別算法對接,如果依賴於端上的識別算法,那麼按照現有的蘋果更新審核機制,AR內容的更新會非常麻煩,蘋果可能需要提供專門的編輯器;但是如果基於雲端識別,則蘋果的用戶群體過於龐大,到時候雲識別的QPS會很驚人,是否蘋果還沒有準備好接受這樣的考驗?

此外,服務於AR的單目SLAM可以說是目前業界沒有很好解決的一個課題,所以蘋果在這方面做出了很大的推進。而如果我們限定於二維圖像的識別和跟蹤,則有非常多成熟的SDK可以使用,就連Hololens也可以兼容使用Vuforia,也許蘋果並不准備自己承擔這和識別算法對接的需求。

最後,說一下ARkit對整個AR行業的影響,這裡按照行業玩家的角色分開來講

首先是最下游的硬件玩家,為首的就是AR眼鏡廠商,比如微軟,Meta,ODG等等

這類玩家受到的波及應該不大,因為AR眼鏡本身就不是服務於當下的C端客戶,大部分都給B端客戶定製使用了,而且短期內不會有很大的出貨量。相反,這其實對AR眼鏡廠商是好事情,因為手機體驗AR是有各種缺陷的,比如無法解放雙手,但是手機上玩AR是可以快速教育用戶的,當用戶習慣於AR,並且想要更高質量的體驗的時候,AR眼鏡就可以考慮轉型服務於C端,蘋果其實是在加速整個AR行業的發展。不過我相信蘋果既然此時布局AR,肯定不會放棄眼鏡,未來希望蘋果也可以重新定義「AR眼鏡」。

這裡有點尷尬的硬件玩家是Google,旗下的Project Tango發佈已經一年,目前市面僅有聯想的Phab 2 pro和即將發佈的華碩的ZenFone搭載了Tango的技術,然而由於整個安卓系AR內容的匱乏,導致Tango手機出貨量非常少,此時ARkit發佈一瞬間幾乎覆蓋整個iOS,那麼Google是要推出單目的AR SDK覆蓋全部安卓來應對還是強推Tango讓安卓手機硬件升級就是一個非常值得考慮的問題,這裡大膽猜測Google是否會開源出來Tango目前整套Msckf的算法?畢竟之前已經開源了一套基於激光的SLAM算法,很期待Google的動作。

還有就是AR硬件模組玩家,比如Intel的realsense,或者Occpital Bridge這類

本身要依賴於其他硬件終端才可以使用,雖然整體AR的能力是高於iPhone手機的,但是如何體現出自己獨特的價值就變成了一個不得不面對的問題,本來自己是唯一的選擇,現在突然變成「增值服務」,未來的路又渺茫起來。

另外值得一提的是所謂的AR眼鏡盒子或MR眼鏡盒子,即帶有簡易光學設備或僅僅可以讓手機露出後置攝像頭的,需插入手機才可以玩的類似VR盒子的東西...這類設備成本不高,但是可以藉助具備AR能力的手機讓用戶快速體驗到類似AR眼鏡的體驗,這類盒子可能會有銷量的帶動,但是長遠發展可以參考目前VR盒子現狀~

再來,我們說說SDK玩家,即AR算法玩家。

業內都知道的是由於AR需求的快速發展,最近一年幾乎所有SDK公司都在基於單目做SLAM算法的研發,不論國內國外,大家由於競爭關係在大量的重複造輪子,然而除了Vuforia以外,並沒有哪家拿出來可以服眾的單目SLAM算法SDK,或多或少的,各家都有自己存在的問題。此時,蘋果拿出來ARkit,按照發佈會Demo來看,效果超過所有其他玩家,何況這還是iOS原生算法,這意味着所有APP不需要集成任何SDK就可以具備目前市面上最好的AR能力,可以說對大部分SDK都是比較致命的打擊,默默心疼一分鐘...當然,SDK玩家也並不是完全沒空間,如我上文所說,ARkit並不是完美無瑕並且功能齊全的,單目SLAM是沒辦法做了,但是在這個基礎上擴展功能還是可能的,所以此時的SDK公司應該仔細思考自己如何定位,找到自己的價值和ARkit共存。

然後,我們說一下上游的AR軟件的玩家,為首的是Snapchat,Facebook這類社交軟件,這兩家都剛剛發佈了AR相關的產品和編輯器,同時這兩家都依託於自家研發的AR算法,可以說兩家在算法上本來是很領先的。可惜,ARkit一發佈,一夜回到解放前,不僅沒有和彼此拉開差距,反而身後跟過來一大批小玩家,類似FaceU,B612這樣的軟件,在人臉的內容運營上本來就很優秀,此時突然白白得到了AR大殺器,更是可以奮起直追。所以AR應用的廝殺接下來可能會很精彩,非常期待!

上遊玩家還有就是遊戲行業,之前因為工作原因接觸過不少遊戲公司,可以說遊戲公司對AR是有興趣而不敢投入,一方面技術不夠成熟,接入SDK的學習成本和風險都比較高,效果還不一定好,二是遊戲行業目前發展勢頭很好,PMGO後期下滑也比較厲害,遊戲公司動力不足。現在ARkit發佈以後,一下有一個原生靠譜的AR能力,此時遊戲公司不一定還能淡定的觀望,畢竟某易的XX師在AR上下了大力氣,現在有了新能力肯定不會放過,哪怕跟風,其他公司也會嘗試在遊戲里加入部分AR的元素,比較看好AR在遊戲的發展,尤其卡牌遊戲~

大概的分析就到這裡,總體來說由於iOS巨大的用戶群體,ARkit的發佈對整個AR行業是有很大的推進作用的,每一個和AR相關的玩家可能都需要重新審視一下自己的位置,如何在明確知道iOS具備AR能力的情況下找到自己的定位,純算法或者硬件是否還要堅持?如何細分?如果做軟件或AR服務,那麼怎麼最大化的利用ARkit?

作為AR從業者,我真心感謝並且欣賞蘋果對於AR的看好和大力投入,希望AR可以越來越成熟,發展的越來越好~


想在手機閱讀更多Apple資訊?下載【香港矽谷】Android應用
分享到Facebook
技術平台: Nasthon Systems