蘋果團隊首發文,揭露讓 iPhone 支持深度學習算法面臨的諸多挑戰

雷鋒網消息,蘋果 Vision 框架的發佈,意味着開發者可以在 App 中使用深度學習算法和許多其他的計算機視覺技術。那麼,支持這一創造性革新的背後,蘋果團隊面臨了哪些挑戰?日前,蘋果在其官網發文,首次揭露了這些信息。詳情如下,雷鋒網編譯整理:

蘋果在 iOS 10 中開始使用深度學習技術。隨着 Vision 框架的發佈,開發者可以在 App 中使用深度學習技術和許多其他的計算機視覺算法。他們在開發 Vision 框架時,為了保護用戶隱私,讓算法能高效執行,面臨著巨大的挑戰。下面是對這些挑戰的介紹。

蘋果公司首先通過 CIDetector 類在 Core Image 框架中發佈了人臉檢測公共 API 。蘋果內部應用程序也在使用這個 API ,例如 Photo 。CIDetector 最早版本使用的是一種基於 Viola-Jones 的檢測算法,基於傳統計算機視覺技術的進步,CIDetector 得到了持續改進。

隨着深度學習的出現以及它在計算機視覺問題上的應用,這些頂尖技術在人臉檢測的精準性上取得了前所未有的巨大進步。為了利用這些技術的所帶來的轉變,蘋果徹底重新思考他們的方法。

與傳統的計算機視覺相比,在深度學習中學到的模型需要更大的內存、更大的磁盤存儲空間和更多的計算資源。

雖然手機發展到現在,已經具備各種各樣的功能了,但傳統的高端手機並不是一個適合訓練深度學習視覺模型的平台。大多數行業通過雲端的 API 提供深度學習解決方案來解決這個問題。在那種雲端解決方案中,圖像被發送到雲端服務器,然後再利用深度學習來推理、檢測人臉。

雲端的服務通常使用性能強大的桌面級 GPU,具有大量可用內存。當碰到非常大的網絡模型,或者可能要配置大型模型時,都可以在服務器端運行,這能保證客戶端(可能是流動電話)可以在雲端(在本地無法運行)運行大型的深度學習架構。

蘋果 iCloud 照片庫是一個基於雲端的圖片和視頻存儲解決方案。不過,由於蘋果此前做出過承諾,絕不侵犯用戶隱私,所以他們不能利用 iCloud 服務器來進行計算機視覺計算。所有發送到 iCloud 照片庫的照片和視頻在發送到雲存儲之前就在設備上進行了編碼,而且只能通過註冊過那個 iCloud 賬戶的設備進行解密。因此,為了帶來深度學習的計算機視覺解決方案,必須直面在 iPhone 上運行深度學習算法的挑戰。

除了這一點外,蘋果還面臨諸多挑戰。

  • 深度學習模型需要裝配到操作系統中去,佔用本來就很稀缺的 NAND 存儲空間。

  • 此外,它還需要加載到 RAM 中,使得 GPU/CPU 的計算時間大大延長。

  • 與雲端的服務不同,雲上的資源可以分配,可以用來單獨解決視覺問題,而想要在設備上進行計算,則需要在與其他正在運行的應用程序共享系統資源。

  • 最後,計算必須足夠高效,能夠在相當短的時間內處理大型圖片庫,並且手機的電量不會消耗得過快,手機也不能產生明顯發熱。

via:apple.com

雷鋒網編輯整理。


想在手機閱讀更多iPhone App資訊?下載【香港矽谷】Android應用
分享到Facebook
技術平台: Nasthon Systems