亞馬遜CTO 沃納·威格爾:談AWS的現代化架構與機器學習

.. 作為全球排名第一的雲計算廠商,AWS在中國「能考多少分」,可能是每一個雲行業從業者都比較感興趣的話題,而就在8月9日的AWS技術峰會上,這一問題有了最新答案。

亞馬遜AWS全球副總裁、大中華區執行董事容永康現場做了報告,他指出:

·全球來看,2018年Q2的營業額61億美金,同比增長49%,預計未來12個月總收入超過240億美元。全球18個區域,55個可用區,100多個邊緣節點,65%的區域布局在一帶一路上。

·中國來看,光環新網(北京數據中心)和西雲數據(寧夏數據中心)齊頭並進,布局了16個大的功能,三一重工、美的、海航、OPPO已成為AWS客戶。

·新服務上,2017年AWS推出1400多項,2018年第一季度已推400餘個。

·魔力象限中,AWS一路領跑。

這場大會上,光環新網COO寧琪、寧夏西雲數據公司CEO王輝也分別對各自的團隊、雲服務能力、運營經驗等進行了報告。

整體來看,AWS植根中國情況,可評「良好」。

亞馬遜CTO沃納·威格爾的感嘆

當然最值得期待的是亞馬遜CTO沃納·威格爾(Werner Vogels)的演講。

作為亞馬遜技術執掌者,沃納·威格爾是AWS的靈魂人物,也是雲計算領域頂級專家。因其在雲計算的教育和推廣方面的貢獻,被信息周刊(InformationWeek)評為「2008年度CTO/CIO」;2010年被ReadWriteWeb讀者投票評為「最具影響力的雲計算高管」。

雷鋒網觀察到,在2017年同一時期,沃納·威格爾就參加了中國首屆企業級技術峰會,當時的他用了13張PPT 講清楚了企業上雲戰略,而今年,PPT的數量則遠遠不止。儘管他開場就強調只分享技術,但他依然富有強烈的亞馬遜的雲計算色彩,這意味着,他本身就是AWS最好的一支廣告。

沃納·威格爾開場拋出情懷的感嘆詞:客戶是創造者!

「AWS認為自己的客戶是創造者,客戶是真正的希望能夠創建全新的產品服務應用或者是改造現有應用的人。」

他說,2006年,亞馬遜深知雲將給軟件開發帶來翻天覆地的變化,需要全新的工具。於是他們與軟件開發者密切合作,12年來,一個生肖輪迴,亞馬遜才打造出這樣一個現代化的軟件開發框架,尤其在雲服務領域居於前列。

現代化架構的樣子

現在的軟件呈現三級的架構:web層、應用層、數據層。但事實上很快世界就變了,互聯網不再是網頁了,而是應用。所有這些軟件、組件都是大規模的,變得越來越龐大和僵化,不再符合軟件開發者想要隨心開發軟件的那種適用的組件了。

沃納·威格爾覺得,從不同的後台功能角度來說,實質上它們所做到的就是把所有的AWS的服務連接在一起,不管是DynamoDB,安全、可靠性、規模、性能、成本管理,都有雲廠商幫你做好,這就是現代化架構的樣子。(雷鋒網註:Amazon DynamoDB是一個完全託管的NoSQL數據庫服務,可以提供快速的、可預期的性能,並且可以實現無縫擴展)

「現在你可以去挑選你確切的要開發軟件的方式,而不是我們為你去開一個藥方——那是傳統的方式。」

亞馬遜的機器學習

沃納·威格爾的第二個主題就是關於機器學習。

在過去一年,機器學習的使用呈現井噴狀態。據雷鋒網查詢相關信息顯示,Alpha Go Zero的興起、Facebook提供的無監督的方法UPV、英偉達P3處理器做機器學習的培訓等等,都讓機器學習的商業化變得越來越成功。

在機器學習、物聯網、人工智能等領域,AWS不只是做IaaS。從2009、2010年就不斷開發存儲、組網、計算這樣的雲服務,但是在此之上,AWS想給用戶提供更合適的工具。

AWS Cloud 9

沃納·威格爾首先講到,每一個偉大的平台都有一個偉大的IDE,AWS Cloud 9就是一個完全管理的IDE,裡面有各種功能,而且獨一無二的是可以去開發深度的本機Lambda的功能。

AWS X-Ray

X-Ray能夠幫用戶找到其中的錯誤,能夠更便捷的進行部署和檢查數據相關的應用問題。有了所有這些不同的組件,AWS與用戶一起合作開發得心應手的一些工具。

IT平台

在過去六個月的時間裡,AWS在解決方案方面有了很大的進展,其中一方面就是關於數據和雲能否搭建一個平台。而一旦有了這個平台,就意味着IT已經不僅僅只是一個競爭優勢了,而是個必要性,也就意味着大家可以享有同樣的計算、存儲、數據庫、算法的資源。

企業之間的競爭差分性在哪裡呢?沃納·威格爾的答案是「數據和數據的使用,以及從數據中獲得的信息。」

SageMaker

SageMaker,即大規模構建、訓練和部署機器學習模型。

「如果要推動機器學習的普及化的使用,我們就需要做一些改進。因為機器學習需要全新的堆棧。」

傳統的堆棧是什麼?實際上,AWS有標準化的框架、TensorFlow、Caffe等等,在此之上,他們還打造了一個叫SageMaker的平台,讓每一位開發人員都能夠通過算法獲得機器學習的能力。

機器學習的流程涉及選擇數據、挑選算法、做培訓(調整算法參數)、模型部署等,而這個過程是一些繁雜的工作,如果希望80%人為工作可以交給機器學習本身來做,SageMaker就能實現這點。

沃納·威格爾感慨:「Amazon SageMaker絕對是革命式的機器學習普及化的平台服務。」看得出來,這位CTO還是無法免俗不去打廣告。

Aurora

Aurora是AWS歷史上在中國增長速度最快的一個服務。

Aurora是一個真正的雲和本地都能夠實現良好運轉的數據庫的工具,很多數據庫都是90年代就做了,但是底層的技術並沒有發生很大的變化,但AWS現在做的是本地和雲端都會有備份,性能的水平、安全性、可靠性都是以前不可同日而語的。據雷鋒網了解,目前Aurora已經在寧夏西雲數據可用了。

Amazon S3

很多非結構性數據需要進行分析和處理,AWS稱之為數據湖,Amazon S3已經成為了流行的數據湖選項。

在過去幾年處理5TB的數據,要41分鐘的時間,現在Amazon S3處理這麼多數據的時間可以縮短到12分鐘。

R5比R4:內存提高57%,運算能力提高50%

沃納·威格爾分享了AWS在內存應用上的進步。他指出,R4是一個內存密集型應用,用在大數據分析上和內存類的緩存,2.3兆赫,400GB內存。R5又進一步提升了,內存提高了57%,運算能力也提高了50%。這是巨大的進步!

基於分析的3個模型

沃納·威格爾接着談到,「機器學習」、「數據庫」、「數據分析」這三個領域在過去幾個月中出現了最大的發展。此外,基於分析的模型,他認為有3種類型:

第一種是對歷史數據的分析,比如數據倉庫;

第二種是實時數據的分析,比如當下的庫存,現在社交媒體的動態;

第三種就是對未來的預測——這就是機器學習要做的,最大化找到數據的一些規律,從而藉此開發和預測。

實際上,對於AWS來說,對未來的預測才是機器學習要做的,盡量找到數據的一些規律,從而藉此實現開發和預測。

機器學習傳統

亞馬遜有非常悠久的機器學習使用的傳統,比如個性化推薦、庫存管理、無人機/語音、無人店等等。在Amazon GO商店中,顧客只要拿着商品,走出門口就行,無需收銀的環節。之所以能做到這一點,沃納·威格爾覺得是因為亞馬遜用機器學習已經20年的時間了,積累了獨特的經驗。

以Netflix(美國視頻網站)為例,75%的視頻觀看都是通過推薦產生的。這些推薦必須非常的準確,否則的話,客戶就不願意用了。

「數據不用就是浪費。」沃納·威格爾如此說道。

何以見得?據雷鋒網了解到,在亞馬遜有數以千計的工程師在做機器學習,每天有幾十億筆交易的數據產生,如果不利用起來,用沃納·威格爾的話來說就是「太傻了」。

其中一個應用案例就是反欺詐:有了過去的欺詐數據,利用機器學習就可以判斷一個新進來的訂單是否可能是欺詐訂單。AWS為此設立了一個門檻值,達到門檻值可能性的訂單就會被交送給一個實際的員工進行判斷。

機器學習方面100多個新的功能和新服務

沃納·威格爾的這張PPT,顯示了AWS在機器學習方面的創新速度。

這張PPT里,展示了AWS的廣泛的計算實例選型。

安全的責任:不只在安全團隊

「有一件安全的特點在發生巨大的變化,我們看到開發從原來所謂的三到六個月的周期變成持續的開發和部署,這就意味着安全要變化。安全團隊不能夠再去以三個月、六個月來做一個周期,覺得三個月、六個月之後給你一些安全代碼這就安全了,並不是的,這種做法已經不奏效了。」

高頻的數據泄露事件在過去兩到三年確實令人震驚,這位執掌全球最大雲計算公司技術的CTO覺得,從架構的角度、從專業人士的角度,大家應該負起責任,不能只把安全保護的責任放在安全團隊上。

「今天每一個人都應該意識到他們所做的行為的安全可能帶來的一些影響。你每一次數據的訪問、每一次數據的編輯都應該去考慮到安全,整個流程本身應該是安全的。比如說開發的環境不能夠有漏洞,所以安全是人人有責。如果我們要真正保護客戶和關鍵企業數據,那我們都要承擔起安全的責任。」的確,在國外,Facebook數據泄露事件導致大規模抗議,而國內,雲廠商接二連三的數據丟失也讓客戶怨聲載道,沃納·威格爾的這句話其實相當有啟發性。

邏輯變了:從服務器到無服務器

無服務器的世界是怎樣的?

沃納·威格爾舉例說,客戶無需擔心SNS、SQS等規模、性能、可靠性,AWS Lambda能實現自動擴展。在EC2的實例里,不管執行與否都要去付費,但是在無服務器化的世界中,只有對那些執行的函數才去付費,那些閑置不用的容量無需付費。

無服務器化的好處是什麼?

沃納·威格爾認為,以前當出現了一個新的技術,通常都是那些年輕的、規模小的企業先用,但是在無服務器化環境中,大規模的企業能夠以更敏捷、更快的速度來使用最新的技術。

為什麼呢?因為他們無需去管理,只需要在代碼執行的時候付費。

這是和以前不一樣的邏輯。


想在手機閱讀更多網站設計及開發資訊?下載【香港矽谷】Android應用
分享到Facebook
技術平台: Nasthon Systems