我們常常提到的深度學習是全部深度學習算法的總稱,卷積神經網絡是深度學習算法在圖像處理領域的一個應用。而Yann LeCun就是卷積神經網路的發明者,也被稱之為「卷積神經網絡之父」。卷積神經網絡的出現對人工智能發展的重要性不必多說。而這次Yann LeCun的推文傳播如此之快,是不是有比「卷積神經網絡」更重大的學術成果出來了?為了使國內讀者了解到 LeCun推送的內容,雷鋒網編輯對推文進行了編譯。
首先開頭是一句極具有標題黨風格的英法混合語:
Deep Learning est mort. Vive Differentiable Programming!
翻譯成中文就是:深度學習已死,可微分編程萬歲!
為何突出此言?深度學習算法是人工智能多個領域的底層框架,怎麼就死了呢?接着往下看發現LeCun說的是「深度學習」這個詞已死,該有新的名詞來替代它了。
LeCun提到的新詞是可微分編程。
他在推文中解釋道「可微分編程」不過是把現代深度學習技術重新換了個叫法,這就跟當年神經網絡還只有兩個以上隱藏層時就被稱之為「深度學習」差不多。對於現代深度學習技術,「深度學習」這個詞已經不夠用了。
他又寫道:
但重點的是,人們現在正通過組裝參數化功能模塊網絡,構建一種新軟件,並用某種基於梯度優化的方法來訓練它們。
越來越多的人正在以一種依賴於數據的方式(循環和條件)來程序化定義網絡,讓它們隨着輸入數據的動態變化而變化。這與普通的程序非常類似,除了前者是參數化的、可以自動可微分,並且可訓練和優化。動態網絡變得越來越流行(尤其是對於NLP),這要歸功於PyTorch和Chainer等深度學習框架(注意:早在1994年,之前的深度學習框架Lush,就能處理一種稱為Graph Transformer Networks的特殊動態網絡,用於文本識別)。
現在人們正在積極研究開發命令式可微分編程語言編譯器,這對開發基於學習的AI(learning-based AI)來說是一條非常令人興奮的途徑。
最後,LeCun還特彆強調將「深度學習」改名為」可微分編程」還不夠,其他的一些概念也需要改,比如「預測性學習」應該改為 「Imputative Learning」。他說稍後會談更多......(讀者們可以幫想想還有什麼需要改名的,這句是雷鋒網加的)。讓我們一起來關注LeCun的最新動態吧!
LeCun的Facebook截圖:
雷鋒網