手機影像「內卷」的下半場是AI算法?

今年秋季密集的手機發佈會告一段落,恐怕局外人也看出了手機的影像實力已成為手機行業「內卷」的焦點。連一向在手機影像功能上宣傳較少的蘋果,也在iPhone 13背面植入兩顆超大攝像頭,並稱新款iPhone「是我們迄今最具創新的攝像更新。」

不管是外部環境的變化還是手機內部硬件的要求,都驅使着手機廠商們鍾情於升級手機的影像實力。

在外部需求端上,據統計,手機拍攝功能已成為中國消費者最關注的手機要素,而以Instagram、小紅書為首的線上圖片社交平台的火爆,則帶動了更多人加入隨時隨地拍照的行列,這都對手機的影像功能提出了更高的要求。

在手機的內部硬件端上,手機的處理器和屏幕幾乎都被高通和三星包攬,唯一能動刀的手機的鏡頭模組也因物理尺寸的限制,難以在有限的手機可利用空間內展開身手。

當手機硬件堆料受上述各原因限制,給手機影像能力帶來的提升越來越小時,各廠商要突破硬件限制,做出成像的差異化,計算攝影 (computational photography) 成為其競爭的焦點:通過AI優化影像算法,讓用戶輕鬆獲得一張質量不錯的照片。

用計算攝影解決「疑難雜症」

如今,強大的手機拍照技術既離不開性能優異的硬件,也離不開迅猛發展的圖像處理算法,在硬件短時間難以打出差異化的現實條件下,從谷歌Pixel開始,押注AI算法助力手機影像能力的提升基本上已經成為了手機行業的常態。因此,在計算攝影市場規模不斷擴大的同時,計算攝影的算法水平也越來越重要,競爭越來越激烈。

計算攝影,簡而言之就是使得手機生成的照片不再僅僅依賴圖像傳感器和拍照者的專業攝影知識,而是將手機硬件與軟件相結合,讓AI算法以及處理器算力加入到手機攝影中來。基於這樣的理念,人工智能企業曠視提出了「AI重新定義光感知系統」。

以往的「光+感+知」系統獨立優化,先聚焦在硬件升級,然後再以算法輔助、優化後期處理等運作方式相對流程化,如今,「光 x 感 x 知」光感知系統協同配合,軟硬協同升級,實現光感知系統全流程的能力提升。這意味着整個手機影像系統數據處理規模以及資源調度能力增強,能支持更廣泛的應用場景。

目前,曠視已為多款主流安卓智能手機提供一系列計算攝影解決方案,其中,包括超畫質、降噪和圖像增強等在內的技術,已在當今的智能手機中廣泛應用。

超畫質是一個很大的概念,不僅包括景物原有的細節紋理還原,還有着提高畫面亮度、對比度以及色彩、層次感等功能,簡單來說,就是讓手機最後生成出來的圖片更「完美」。如果要從硬件上達到這一標準,鏡頭和感光元器件都需要足夠的尺寸,這對不少專業單反相機來說都是難以完成的目標。

曠視則通過AI來對高畫質數碼相機的成像特性進行學習,還原拍攝場景原有的細節紋理,使畫面品質得到整體提升。

降噪一直是攝影圈的一個難點,對單反攝影愛好者來說,想要拍攝一張噪點少、成像好的照片需要在單反感光度、曝光時間上尋找一個平衡,這也通常會導致在光線條件不足的情況下一些轉瞬即逝的瞬間難以被抓住。

為解決噪點的問題,傳統的解決方案是,分別拍一張長曝光圖片和短曝光圖片,然後在後期軟件上進行合成。如今的AI降噪,會在算法降噪的基礎上,再自動拍攝數張長短曝光的照片進行合成,快速生成圖片,免去了人工在後期軟件上合成的步驟。

AI算法降噪的原理是對自然光譜進行學習並總結特性,對相機傳感器所捕捉的信號進行分辨,哪些是噪聲,哪些是成像需要的信號,最後把需要的部分還原,把噪聲的部分去掉,最大程度地保留細節同時提升信噪比,這樣能讓畫質提升的同時,細節也能夠清晰的表現出來。

攝影師通常喜歡用大光圈拍人像,這樣可以虛化背景中雜亂的場景,讓拍攝的主體更加突出。過去,手機受限於單個鏡頭中的光圈大小難以拍出自然的虛化效果,即便有算法的幫忙也經常被用戶吐槽為「摳圖+粘貼」。

圖像增強技術不像專業相機的光學景深效果,而是利用手機雙攝和AI算法來進行虛化。隨着手機多個攝像頭的出現以及AI算法的進步,曠視通過不同攝像頭之間的間距,利用算法計算出深度圖像,進而形成可以媲美專業相機大光圈效果的圖像。

AI算法在多攝時代大顯身手

歸功於AI算法與手機硬件系統的協同進化,AI算法在手機廠商的影像「內卷」中扮演的角色也愈加重要。根據艾瑞諮詢近期發佈的《2020中國人工智能手機白皮書》數據顯示,截至2019年,AI拍攝算法在國內不同價位安卓手機中覆蓋率達已經到91.6%,在AI+光感知手機算法領域,以曠視為代表的頭部企業份額佔比接近80%。

人工智能企業能在手機影像領域立足,其中一部分原因也是AI算法迎來了手機多攝像頭的時代。如今,即使是對手機影像功能最不敏感的用戶,也能明顯感覺到手機背後的攝像頭明顯變多了,主攝、廣角、超廣角、長焦、潛望式、微距、ToF……雙攝已落伍、三個勉勉強強、四個、五個也不嫌多。

手機廠商們熱衷於增加攝像頭的背後,並不是簡單的營銷和噱頭,除了近年來多攝技術的穩步發展,還有一部分原因在於AI算法為手機多攝提供了跨越式發展的契機,AI算法已逐漸成為攝像頭之間聯動的紐帶,在AI的驅動下攝像頭之間的聯動可以形成「1+1大於2」的效果。

具體來說,手機後置攝像頭數量和類別的不斷增加,對AI算法意味着光線、景深、像素等多種可收集類型數據傳感器的增多。有些傳感器鏡頭對色彩更敏感,有些捕捉紋理效果較好,有些則在運動焦點的追逐中效果最好。在AI算法與多個攝像頭的協調配合下,通過雙攝變焦實現多種傳感器之間的強強聯合獲得最佳拍攝效果,如,利用雙攝虛化實現媲美單反相機的光圈效果、多攝融合有效提升圖片質量等。

多個攝像頭雖然使得AI算法能收集到的數據類型和數據信息更加豐富,但同時也帶來了系列算法和算力的技術難點,如何在手機有限的算力以及電量限制的情況下儘可能達到成像的完美,這對AI算法本身也提出了不低的要求。

例如,當手機利用不同焦段的鏡頭來實現數碼變焦功能時,多個攝像頭的切換需要使用到「平滑縮放算法」,該算法的質量高低將決定手機應用變焦功能時各焦段畫面「接縫」的順滑程度,越好的算法將使得這種過渡更加自然。

基於多年的技術積累和項目工程落地經驗,曠視的雙攝虛化、多攝平滑變焦、多攝融合等算法均具有很強的泛用性,可適配多種模組組合和排布方式。以多攝融合為例,曠視的多攝融合算法採用神經網絡設計模型,可有效解決清晰度不均勻、主體邊緣線條彎曲、部分位置重影、線條斷裂錯位、重複紋理錯位等傳統多攝融合算法中的常見問題。

AI算法在手機影像中扮演的角色日益重要,並不意味着AI算法在未來將取代硬件,而是AI與硬件的協同互動。曠視研究院研究員范浩強在近日的曠視MegTech Lite漫談AI技術分享會上表示:「手機的整體影像能力提升不是僅依靠鏡頭多和像素高就可以實現,最重要還是成像系統各個要素間的協同。」

手機的成像過程本質是「光電算」一體化的過程,即從光學感知到電子信號傳遞最後還原成圖像的過程。AI算法在其中扮演的角色不僅僅是在最後一步進行優化,而是在一開始時就加入到光和電的協同配合中來。

用戶是拍攝風景還是人像,是拍攝星空還是運動中的細節,AI會在一開始便判斷需要調動的不同鏡頭組合,來實現用戶想要的拍攝效果。例如,當用戶選擇風光模式時,AI算法便已將主攝像頭和廣角攝像頭調動起來;當用戶選擇人像模式時,AI算法便會調動主攝像頭和人物細節解析力更好的黑白攝像頭結合起來,在雙攝像頭模擬大光圈效果的同時獲得更優的人像表現能力。

未來的手機拍攝,將會向著利用AI技術,理解用戶意圖,利用算法自動調配攝像頭,完美捕捉到用戶想要拍攝的畫面,從「所見即所得」到「所想即所得」,生成出傳統專業相機無法拍攝出來的圖片效果。

當然,除了AI算法之外,更美好的影像世界的實現也依賴於未來更多新形態傳感器的發明。如今,AI計算攝影不僅在推動更多傳感器解決方案的出現,也在硬件之外開啟了手機影像的「下半場」。


想在手機閱讀更多攝影設備資訊?下載【香港矽谷】Android應用
分享到Facebook
技術平台: Nasthon Systems