從低功耗視頻到智能 AI,合肥君正的拼搏與突破

如今百花齊放的消費類攝像頭市場,此前只見國外品牌獨美。

Arlo的前身Vuezone在2012年以「純無線攝像頭」的概念(1基站+N攝像頭)開創了低功耗的產品模式,Ring主打配備攝像頭的智能WiFi門鈴,在2014年被亞馬遜收購,納入其智能家居生態。

當消費類攝像頭在歐美市場風生水起時,國內市場萌芽未現,技術氣候未成。

但合肥君正隱約感覺到,中國消費類攝像頭,尤其是低功耗的電池類攝像頭將撐起一片天。確定了電池類方向的合肥君正,逐步開始了從硬件到軟件、從產品到平台的全方位的低功耗攻堅戰。

2019年北美線上最受消費者喜歡的攝像頭類產品中,電池類門鈴及低功耗攝像頭已佔四成以上。

技術逐漸攻克,產品持續改進,加之剛需特性,各類低功耗產品出圈,從線上走進一個個尋常百姓家。
蟄伏已久的中國隊也梯度進場,之中Anker和Wyze的光芒在2020年格外璀璨。

而他們的幕後英雄合肥君正,不僅市場預判得到驗證,埋首低功耗的上千個日夜也未曾辜負。

從新奇物種到尋常可得,轉變似乎在不知不覺之間,但推動這一切的企業們,卻將時間拆分成無數個嘔心瀝血的日子,在那些日子裡,他們是如何一步步從黑暗走向光明的?

雷鋒網AI掘金志就此與合肥君正消費類產品線總監李雅崑進行了一次談話,以探尋背後的故事。

苦練低功耗攝像頭的內力

「預判容易,投入很難,」李雅崑表示,「儘管這一趨勢現已被印證,但當時而言,投入周期很長、投入量很大,也難以保證產出,況且,我們接觸的客戶似乎興趣不大。」

電池類攝像頭的功耗高低,直接影響了產品的核心:體驗。

而這,也是合肥君正一直以來的宗旨,因而儘管前路迷霧一片,他們堅定了深耕低功耗的決心。

絕世武功的修鍊,通常離不開基本功。

好在君正的低功耗基本功已然十分紮實。

對產品功耗的影響,主要來自於兩個方面,一個是SOC的內部功耗,另一個是SOC之外的周邊器件功耗。SOC內部的功耗與CPU的設計相關,CPU核心技術算得上君正的殺手鐧之一。

君正是全球範圍內少數幾個掌握CPU核心自主設計技術的廠商之一。

此外ISP(圖像處理器)、VPU(視頻編碼器)、AIE(AI引擎)這幾個核心IP模塊也都是由君正自主獨立設計研發。

正如北京君正副總經理黃磊曾對AI掘金志所言,視頻領域的真槍實彈,要靠核心技術,自研是必選項。

也正是由於君正自研核心技術,才能對SOC內部細節做到精確的功耗優化。

如果說電腦是機器、顯卡、CPU內存、南北橋等器件,SoC上,這些器件都存在於芯片內部,各個模塊的配合是非常龐大的工作。

SOC的內部通過時鐘信號來驅動每一拍工作,好比人的心跳一樣,而芯片內部的低功耗優化是一項要求極高的設計工作,貫穿在每一個IP模塊的每一拍細節之中。

「最簡單的做法,每次心跳的時候你都干就完了,但是那樣功耗大,我們就精細到每一次心跳的時候,誰休息誰幹活。」

十幾年的浸潤,君正已經將低功耗融入骨血之中,在功耗,性能,成本等方面優勢明顯。

在ISP圖像處理上,圖像處理器Tiziano,保證了安防攝像頭級的成像效果。

君正的自研Radix系列 VPU,針對H.265格式複雜度的增加和4K實時編碼運算量的增加,重新設計了硬件架構,精細設計的開關控制等降低動態功耗,並通過複雜度選擇,對編碼關鍵路徑進行算法優化和硬件優化等途徑,提供低功耗、高性能、高壓縮率的視頻編解碼能力。

在AIE,即AI計算引擎上,AIE架構層面兼顧計算效能與靈活性,低比特量化技術則進一步強化了君正AIE的低功耗與低帶寬AI計算能力。

這種孜孜不倦的愚公自研精神,外化效益是,同等工藝下,君正SOC功耗比友商方案低25%-50%。

而芯片外部的功耗優化,則是一門機器精細的工藝,也是多維層面的戰役。

需要軟硬件結合,涉及到芯片設計、操作系統層、軟件架構層等;需要針對各種場景對運行功耗和待機功耗等做優化,平衡計算各種場景下CPU的運算能力,更好地調度每個單元的工作,從而將功耗降到最低。

「比如調硬件,在PCB板上,電路板密密麻麻的一大片,每一個器件都有供電,有的還不止一個供電,要把每一路電的電阻斷開,去接萬用表,去測評它的能力。」

與軟件調試不同,硬件調試是一件枯燥且耗費精力、時間的環節。

雖說硬件層面的結果是一個待機時間,但這一個環節,就是一項大工程。

比如平均功耗,瞬間響應的功耗如何降低,降低到一定水平之後,如何保證穩定。這個過程需要精確地控制每一個毫安、每一個部件。

「拿一個板子,飛線,飛好線,然後到測試的地方,把夾子打開,夾上電流表或電源,跑起來,測技術數據。」李雅崑回憶起測試場景,「每一路挨個測一遍,這一輪完了,拿下來改一下程序,優化完了之後再測,不同的場景,不同的分辨率,每一路的功耗,逐一測試,基本就是排列組合了。」

合肥君正就這樣,一步一個腳印,從芯片的設計到電路板的調試,把芯片內部、外部、PCP在內所有的東西都校準到最精確的位置,最後得到一個300毫瓦的數據。

當抬起頭來,他們才發現,不知不覺中他們已經站在功耗層面的頭部了。

澤拉圖平台:一群80后工程師的情懷

啟動時間,是電池類攝像頭必須邁過的一座大山。

而百毫秒級的啟動速度正是合肥君正引以為傲的功勳章。這勳章得益於合肥君正的澤拉圖(Zeratul)平台——基於Linux生態的快速啟動技術。

當下,極少數具有簡單處理器的Linux快速啟動技術。澤拉圖平台,從啟動到拿到第一幀穩定圖像用時不到300ms。

站立於啟動時間高峰的合肥君正,身上的風霜也肉眼可見。

「澤拉圖這個名字是我起的,」李雅崑眉眼帶笑,「他是《星際爭霸》中的一個角色,你可能會覺得有點隨意,不過代表了我們80、90后工程師的情懷。」

這群80、90工程師、程序員,也將他們的青春傾注在這個平台上。澤拉圖的核心宗旨,是在合肥君正搭建好各種底層細節的平台之上,品牌商的產品能更好研發並落地。

在那之前,合肥君正面臨兩大主流操作系統RTOS和Linux的抉擇。

RTOS系統小巧,能實現幾百毫秒的啟動,但標準化不高,軟件生態欠缺。

Linux系統生態強大,應用模式簡單,標準化程度高,但啟動時間慢。

合肥君正一開始嘗試RTOS,但越到後面路途越發艱難。攝像頭本質上具備連通性,與雲端、手機端通信,做視頻編解碼,做安全加密,但RTOS的獨一無二性,讓這些軟件都需重新適配,工作量巨大。

「產品的音視頻業務程序將有兩倍的工作,甚至我想支持一個新的WiFi都很難,驅動要重頭寫。」

權衡之下,他們選擇了Linux系統。Linux強大的生態讓他們在開發難度、擴展性上如虎添翼,為更好的融入AI大潮再添一把火。

這同時也意味着他們必須要解決系統啟動時間的問題。

為什麼要死磕啟動時間?

一是信息的完整性。攝像頭待機時,主控芯片CPU處於斷電狀態,人出現后快速啟動並識別,是一個硬性指標。比如PIR(人體紅外傳感器)觸發后,如果是百毫秒級啟動,視頻可以顯示人從進入畫面到離開畫面的全過程,如果是1秒啟動,只能捕捉到人從畫面中間到結束的過程,如果是2秒,只能捕捉到一個後腿。

二是用戶體驗。如果啟動時間慢,用戶遠程查看手機體驗不佳。

與市面上的攝像頭十幾秒的啟動時間相比,當初Alro、Ring的秒內快速啟動簡直是對前者的降維打擊,也讓他們一舉成為市場標杆。

「雖然都是攝像頭,但不同類別在技術和產品方面區別很大,我們開設了專項方案開發低功耗產品。」

他們拆解Alro、Ring的產品,把每一個零件,每一個流程都一一理解、剖析,待機時間、運行機制.....每個部分反覆測驗。

在理解的基礎上,他們給自己設置了一個目標:秒啟。

先以3秒為目標,再以1秒為里程,逐漸往上攀爬。

前期的積累得到回報,他們很快實現3秒啟動。

如果從十幾秒到3秒的路是枕席過師,那麼3秒到1秒的路就是羊腸九曲,1秒再往後便是阡陌縱橫。

在實現1秒啟動后,他們在傳輸、喚醒、觸發等的每一個細節深究。

1秒之內,逐漸攻破了900毫秒,到2017年底,達到600毫秒。

而後隨着T21、T30、T31芯片的迭代,軟件技術的成熟,合肥君正又從600毫秒翻過400毫秒的大山,最後達到200毫秒的山頭。短短几句話,概括了他們幾年來從十幾秒到200毫秒的歷程。

200毫秒已實屬優秀,甚至超過不少歐美品牌的水平,他們並未滿足於此,而是提出更高的要求——力圖200毫秒以內拿到穩定的圖像。

這是個無限接近極限的目標。在當下傳感器初始化標準耗費時間約100毫秒的背景下,要想使得拿到圖像的時間控制在200毫秒以內,需要在以幀為單位的量級上下功夫。

而「穩定的圖像」意味着,在圖像出現后,在100毫秒以內對顏色、亮度進行校準、讓每一幀的圖像更好。

「幾毫秒、第一幀的顏色亮暗程度不同,越往後走越細,有些細節不會體現在參數和報告上,但在產品落地的時候,就有問題,你必須去搞定,有點像磨手機殼的感覺。」李雅崑如此類比。

對速度的無限追求,對用戶體驗的極致提升,或許是他們堅持下去的動力。

這如螺螄殼內的精雕細琢之路,荊棘載途,他們卻甘之如飴。

啟動速度之外的圖像收斂(出圖像時間),是另一個極為關鍵的環節。

「只有啟動時間快,你的出圖時間才能快,但是圖像的收斂穩定時間又是另外一件事。」

翻譯下就是,啟動速度和出圖時間,是一個緯度的兩個方面:啟動時間快是基礎,圖像收斂是效果。

視頻剛開始錄像時,前幾幀的圖像並不是一個恆定的速度,不同產品的圖像可能在最開始的幾幀亮度不一。

與啟動時間快慢類似,圖像收斂如果效果不佳,即啟動后畫面太暗或太亮都將難以捕捉到最開始的信息。

如此,不僅用戶體驗感下降,也可能丟失某些關鍵信息。

在啟動層面,要將啟動階段內的諸多工作集中在第一時間,進行操作系統的解壓、系統的引導,驅動的初始化,圖像的初始化,是一項毫秒量級的工作。

「我們也是每個細節跟客戶摳,比如某個模塊初始化是20毫秒,某個30毫秒,同時還需要加入硬件的加速,軟件、系統的高效調度。」

在圖像收斂層面,市場大多數攝像頭幀數為25幀/秒,一般情況下,攝像頭可以20幀左右(即不到一秒)收斂。

「但如果現在開燈,攝像頭啟動時按照20幀的速度收斂,就太快了,300毫秒到1秒沒的畫面還是黑的,那就沒有意義了。」

圖像亮度調節涉及到算法。合肥君正根據具體場景,以及外置傳感器的參數,一張一張圖像地打磨,將時間細化到600毫秒400毫秒200毫秒,從第一幀摳起,到第二幀,第三幀精確到位,輸出正常的圖像。

「比如一開始從接近20幀收斂,然後逐漸調節,15幀、10幀、5幀、3幀,直到達到極致。」

配置加速啟動的硬件,環節理解的軟件到位后,并行度達到極致,而後他們通過一系列精密的調試和設計,最終達到操作系統的快速啟動。

一旦突破了啟動時間的瓶頸,在這條洶湧的河上搭建起一座橋,橋后的路猶如一馬平川。

在操作系統的核心之下,合肥君正同時提供了可以落地的 Wi-Fi對接技術、基站對接技術、PIR基礎、MCU技術。

得益於Linux方案,君正澤拉圖與常規類攝像頭可以共用大部分底層技術及API接口,對於產品方案商相當於維護同一套底層系統,而非兩個完全不同的產品形態。 

合肥君正之所為,無非一個目的,降低產品在SOC底層方案的門檻,讓產品商能夠把精力、物力、財力放在產品特性及用戶體驗本身上。每一次理解、設計、調試,過程繁瑣,但合肥君正走得踏實,走得堅決。

幾輪春夏秋冬中,合肥君正不斷突破瓶頸,打磨鞏固,以至於基於Linux的快速啟動技術,逐漸成為合肥君正澤拉圖的核心技術。

「我們的核心技術,就是在單核的、簡單的處理器上,讓Linux在一秒甚至100毫秒以內啟動,只有這樣這個產品才是成立的。」

目前,Zeratul Linux的啟動速度及出圖效果已經達到甚至超過RTOS——200多ms得到穩定圖像,對強光、弱光、夜市等各場景的適應性都顯著增強。

在市場的歷練場上

除了快啟和功耗,合肥君正在Wi-Fi方案上頗下了一番功夫。

對於Wi-Fi的隨機性、網絡擁擠、路由器兼容等問題,在實驗室反覆測試,而後結合方案商、品牌商等多方合作,在不同場景、不同條件下測試,力求均達到穩定狀態。

如今,他們的Wi-Fi方案適配廣泛,適應不同規格不同追求的產品方案。

「這是必過的一關,芯片做得很好,功耗很低,啟動時間很快,Wi-Fi方案不成熟,產品照樣不能落地。」

從決定投入Wi-Fi低功耗技術,一直到現在,合肥君正都在堅持對Wi-Fi生態的優化,現已進入到穩定期。有人揶揄,如今Wi-Fi市場技術穩定,這些芯片廠商何苦自己如此大費周章。

「如果我給客戶一個主控芯片,一個Wi-Fi芯片,雖然搭配起來能解決若干問題,但是他不知道怎麼做,我們積累的經驗就發揮出來,」李雅崑平靜而坦誠,「如果我把這份工作推給Wi-Fi廠商,Wi-Fi的問題找他們,主控的問題你來找我,那這個客戶大概率還是做不出來。」揶

揄之話確有其理,只是商場較量並非涇渭分明,核心業務高牆要造,底下輸水管道要通,而成敗,可能就在一個又一個看似不相關,可有可無的項目里。

誕生近四年來,澤拉圖經歷了從經典T20到最新一代T40的幾代SoC迭代,配合多個產品落地,方案穩定成熟。已有WYZE、360、Eufy、Toucan等多個國內外品牌基於君正澤拉圖平台產品的成功出貨。另外一些國內外大品牌相關產品在design in階段。

李雅崑表示,「澤拉圖平台下一步的技術和市場目標是融入端級AI技術,與低功耗技術在產品端深入配合,希望可以進一步優化體驗,擴大市場,給消費者帶來更好的產品。」

君正為此推出了人形、人臉、寵物、哭聲、車型、笑臉、周界等消費類攝像頭應用較多的檢測和識別深度學習算法,賦能端級AI。

遇山開山,遇河渡河

在北美市場,House的家庭結構使得家庭攝像頭具備一定的剛需,市場也因此最先爆發。

近年來Wyze、Eufy等品牌的低功耗產品在海外逐漸打開局面,並迅速取得良好的口碑。

國內市場,家門口的安全是家庭安防的第一道關,在後疫情時代,低功耗攝像頭將加快進入消費者視野。

同時從2017年左右開始,360、鹿客、螢石、小米等領先品牌先後發佈電池門鈴和貓眼,2020年運營商正式將門鈴納入集采產品,國內的電池低功耗產品市場也正加速發展。

免去了複雜的布線,繁瑣的設置,以及高額的維護成本,隨着更多品牌的加入,電池類純無線攝像頭越來越受歡迎。

而這,是時代發展的產物。

技術上,低功耗和快速啟動技術的發展,低功耗攝像頭在分辨率、待機時間、誤報率等等技術規格上都不斷提升。

方案和產品上的各項難題逐漸被攻克,在ID設計,品牌市場推廣方面,也在逐步提高。

這些都使得在體驗、易用至上的C端市場,消費類攝像頭的規模將越加壯大。Strategy Analytics相關研究報告預測,到2023年,全球消費級攝像頭銷量將激增至超過1.11億台,在消費類攝像頭的支出將達130億美元。

在未來,品牌消費類攝像頭,有線版攝像頭和純無線電池類攝像頭將相互補充,各有應用。

高端攝像頭市場,電池類攝像頭和AI攝像頭可能成為新趨勢。

而合肥君正搭載澤拉圖的T40芯片,將在高端消費類攝像頭中展露頭角。使用了雙核Xburst2及增強RISCV協處理器的T40,啟動速度、性能、功耗、首幀效果上進一步提升。

專業級硬件NPU加持下,T40可提供更智能的誤報過濾方案,減少待機時間影響。

高端電池類產品的衍生需求4K和雙攝,也是T40的看家本領,它還支持高中低多種規格的LCD屏幕接口。

眼下,在電池類攝像頭,合肥君正已經拿下了市場50%以上的份額,未來將繼續向前進發。

無論是從無到有,還是從有到優,合肥君正從來慎重抉擇,而後便全力以赴,遇山開山,遇河渡河,不急不躁。而技術日精月進、落地穩紮穩打的合肥君正,也一直在路上。雷鋒網雷鋒網雷鋒網


想在手機閱讀更多網站設計及開發資訊?下載【香港矽谷】Android應用
分享到Facebook
技術平台: Nasthon Systems