快手平台研發和大數據負責人:AI是快手大腦數據驅動是心臟

.. 近日,第二十二屆中國國際軟件博覽會(簡稱「2018軟博會」)第五場全球軟件產業發展高峰論壇「大數據賦能實體經濟」在北京展覽館召開。快手科技平台研發和大數據負責人韋彬發表主題演講「快手的數據驅動實踐」,分享中提到數據驅動是快手公司文化的一部分,每個崗位的員工都需要用科學系統化的方法解決問題。

用大數據、AI等技術 提升每個人獨特幸福感

韋彬舉了兩個快手用戶的例子,解釋快手如何用科技提升用戶的幸福感。四川大涼山懸崖村的用戶楊陽,楊陽通過快手向全世界展示家鄉的美麗景色,幫助家鄉的土特產找到了銷路,帶領村裡人脫貧。還有一位的獨居的老人,老人在快手展示拉二胡的視頻積累了8萬多粉絲,體會到網友的關注、關心,快手幫助老人消除了一點點孤獨感,提升了一點點幸福感。

韋彬介紹,要做好提升每個人獨特的幸福感,需要用到大數據技術、AI技術,實現數億級別用戶和50億海量視頻的精準匹配。此外,快手採用AR等前沿技術給用戶帶來等新奇體驗,提升用戶體驗。

AI是快手大腦 數據驅動是心臟

快手的數據驅動,有自己的一套價值觀,韋彬把它總結為三個關鍵詞。第一個是文化,數據驅動是快手公司文化的一部分,在快手要求每個崗位的同事,需要用科學系統化的方法解決問題,數據驅動是系統性方法里最基本的。

第二個是賦能。希望公司任何一個崗位的同事,只要對數據有需求,只要能夠通過數據改進工作,都可以方便高效地使用快手數據平台及工具獲取和使用數據。

第三個是洞見。數據驅動應該幫助各個不同層級,不同崗位的同事做業務上的決策。也就是說,關注的是從數據上,能夠發掘出有洞見的知識及有價值的結論。

數據賦能 用數據驅動建設短視頻社區

韋彬分享了快手在數據驅動實踐過程中的經驗積累。經驗之一,如果不能很好的監測和量化數據,就不能去管理和改進。韋彬認為,使用科學的數據驅動方法,是快手建立短視頻社區以及社區獲得高速發展的重要原因。

快手很早建立實時的數據指標監測體系,通過定義核心指標、監測核心指標來指導社區優化,逐步建立正反饋的健康社區。比如,通過監測原創視頻的一些核心指標,不斷提升原創視頻的比例,並刺激原創視頻生產,形成良性循環。

快手的普惠價值觀,希望所有人都能在這個平台上分享生活。韋彬介紹,快手把這個價值觀落地成了具體的可以數據驅動的指標。比如,經濟學用基尼係數反應貧困差距的核心指標,快手的社區系統裡面,也會建立類似的核心指標,監測整個系統的中心化的程度以及「貧富差距」程度。

經驗之二,不同職能團隊需要不同的數據賦能方法。韋彬以決策人員、產品經理、算法\策略工程師、後端工程師四個不同的崗位為例,分析了不同的數據賦能方法。

決策人員更關心宏觀的核心指標,以及隨時間的變化趨勢,一旦發現異常會希望能下鑽分析和找出原因,針對決策層面的數據需求,快手建設了配置化報表平台、留存分析、多維分析等一系列工具。

對於產品經理,他們對數據系統的關注點在於怎麼使產品的迭代更加快,怎麼樣更好的做產品上的決策。針對產品的訴求,快手建立了高效的A/B Test平台。快手的A/B Test的平台能夠支持同時并行,互不干擾做大量并行的小流量實驗。每天同一時刻有上百個實驗同時進行,最終選擇客觀指標證明更優的方案,產品迭代的效率得到數量級的提升。

大數據怎樣給AI體系最核心的開發人員賦能?韋彬介紹,快手的算法策略工程師,每天在花大量時間分析和回答各種偏微觀的數據上的問題,這些問題通常具有不確定性和可探索性,快手針對這些場景建設了一個交互式多維分析系統。

系統的實時性能夠實現亞秒更新,實時接入;系統具有非常強的交互性,在90%的場景可以一秒鐘之內返回結果。此外,該系統提供豐富的多維分析能力以及可視化能力。

對於後端的工程師的賦能,快手建立一個基於服務間調用大數據的調用鏈分析監控系統,在快手複雜的服務依賴樹中,實時發現問題,確定影響指標,定位問題範圍,以讓後端工程師對服務質量盡在掌握。

經驗之三,韋彬分享了平台重要的基本功。快手的數據增長非常迅速,超大規模存儲與計算設施的建設考驗平台的基本功。在監控、調優開源系統的基礎上,快手對開源系統做了二次開發的深度優化,並搭建平台,實現對超大規模集群的使用。

此外,隨着數據規模的極速增長、數據從生產到消費的鏈條變長變複雜,給數據體系帶來多方面的挑戰。快手重視數據治理,在質量治理、產出治理、安全治理、成本治理4個方面,並持續投入,通過工具鏈研發、流程改進、指標驅動等方法為快手大數據持續健康發展做好保障。


想在手機閱讀更多電腦與科技資訊?下載【香港矽谷】Android應用
分享到Facebook
技術平台: Nasthon Systems