2018 年,關於深度學習的十個預測

.. 我有種不祥的感覺,2018年可能會發生翻天覆地的變化。2017年有很多令人難以置信的突破,而這些突破將在2018年飛速發展。2017年的很多研究結果將轉化為日常應用。

正如我去年所做的那樣,我已經整理出了一份有關2018年深度學習預測的清單。

1.大多數深度學習硬件初創公司將會失敗

許多深度學習硬件初創企業將在2018年交付他們的芯片。這些企業將站在破產的邊緣,因為它們應該保留自己的軟件,以便支持自己的新解決方案。硬件是這些公司的DNA。 不幸的是,在DL領域,軟件同樣重要。 這些創業公司大多不了解軟件,也不了解開發軟件的成本。 這些公司可以交付芯片,但是上面沒有任何軟件運行。

收縮陣列解決方案最基礎的部分已經被攻克,相比於2017年,我們無法將其性能升級10倍。研究人員不僅利用tensor core進行推理,而且將之應用於訓練。

英特爾的解決方案將會延遲推出,這會令人失望。有記錄顯示英特爾無法在2017年中期發佈其方案,人們開始猜測發佈的時間。英特爾的方案沒有按時完成,也會走向失敗。

Google的TPU將繼續給人們帶來驚喜。為了涉足硬件業務,Google也許會將IP授權給其他半導體供應商。如果Google是Nvidia以外唯一真正的玩家,這可以行得通。

2.元學習將是新的SGD

 2017年出現了很多有關元學習的重大研究。因為研究界都非常了解元學習,所以舊的隨機梯度下降(SGD)法將被淘汰,更有效的方法將會把開發性和探索性搜索方法結合起來。

無監督學習由元學習算法驅動,整個學習過程是循序漸進的。

3.生成模型驅動新的模型

生成模型將會更加科學地工作。 目前,大多數研究集中在圖像和語音生成方面。 但是,我們應該將這些方法融入到複雜系統的建模工具中。一個很好的例子就是深度學習在構建經濟學模型中的應用。

4.自我對局是自動化的傑出成果

AlphaGo Zero 、AlphaZero自我學習和自我對局代表着巨大的飛躍。 在我看來,它與深度學習帶來的影響不相上下。 深度學習發現了通用函數逼近器。RL 自我對局發現了知識創造。

期待看到更多有關自我對局的進步。

5.直覺機械人將彌補語義鴻溝

這是我大膽的預測。我們將會彌補直覺機械人和理性機械人之間的語義鴻溝。對於如何構建新AI 來說,雙重過程理論(兩個認知機械人,一個是無模型的,另一個是基於模型的)將更加受歡迎。 2018年,人造直覺的概念將不再是一種附帶的概念,更多的是被普遍接受的概念。

6. 無法實現可解釋性--我們只假設

可解釋性存在兩個問題。更為人知的問題是,解釋有太多規則,人類可能無法掌握。第二個不太為人知的問題是,機器產生的概念對人來說完全是陌生的,也無法解釋。我們已經在AlphaGo Zero和Alpha Zero領略到了這一點。人們能夠辨別出一個新的舉動,但是機器根本無法理解這個舉動背後的邏輯。

在我看來,這是一個無法解決的問題。如此一來,機器只能加強「假設解釋」。簡而言之,解釋性機械人的目的就是要給予人類熟悉的解釋或者從直覺層面理解。然而,在大多數情況下,機械人無法給予人類完整的解釋。

我們將不得不通過 「假設解釋」,進一步推動深度學習可解釋性方面的研究。

7.深度學習的研究信息會下降

對於研究深度學習的人來說,2017年十分艱辛。 ICLR 2018年會議上提交的論文數量約為4000份。為了大會做準備,研究人員每天就得閱讀10篇論文。

這個領域中的問題越來越嚴重,因為理論框架都在完善中。為了在理論上取得進步,我們需要找到更先進的數學算法。這是一個難題,因為大多數深度學習的研究人員不具備足夠的數學知識,所以無法理解這類系統的複雜之處。深度學習需要具備複雜理論知識的研究人員,但這類研究人員少之甚少。

由於論文太多,理論欠佳,我們如今的處境堪憂。

我們還缺少AGI的發展規劃。理論薄弱;因此,我們最好的選擇就是把人類認知納入我們的計劃,制定一個具有里程碑意義的目標。目前,我們只有一個源自認知心理學中投機理論的框架。這種情況很糟糕,因為這些領域中的實踐經驗證據不足以支撐進一步研究。

2018年開始,有關深度學習的研究論文數量可能會翻三到四翻。

8.工業化來自教學環境

 通過發展具體化的教學環境,深度學習系統會更加可預測和可控。如果你想找到最原始的教學方法,你只需要先了解一下如何訓練深度學習網絡。在這個領域中,更多的進步指日可待。

我期待更多的公司能夠分享自己部署深度學習的經驗。

9.會話認知崛起

目前衡量AGI發展的方式是陳舊的。 我們需要能夠解決現實世界中動態(即非固定)複雜問題的新模式。 在未來一年裡,新聞媒體將會增加這個領域的報道。 在2018年3月1 - 2日的 Information Energy 2018 in Amsterdam上,我將發表自己對會話認知模式的看法。

10. 在道德層面規範人工智能應用

人工智能的應用將進一步受到道德的約束。人們現在逐漸意識到自動化運行會帶來意想不到的後果,而這將是災難性的。如今,Facebook,Twitter,Google,Amazon等上面的簡單自動化運行可能會對社會造成不良影響。

我們需要了解部署能夠預測人類行為的機器需要遵守哪些道德規範。我們目前掌握的面部識別是一種非常危險的技術。有些算法可以生成與現實無法區分的內容報道,這也是不可小覷的問題。生活在社會中,我們需要確保應用人工智能給社會帶來利益,而不會加劇社會不平等。

我期待來年會看到更多關於道德的話題。但是,不要指望會政府會出台相關規定。目前,政策制定者仍然不了解人工智能對社會產生了哪些影響。我不指望他們能停止玩弄政治手段,開始解決社會中的真正問題。美國人民已經成為安全保障體系漏洞的受害者,但是政府並沒有出台新的立法或措施來解決這個嚴重的問題。

準備接受2018年的衝擊!

這就是我現在所擁有的一切。 2018年將是重要的一年,我們都會更好地扣緊安全帶,並為即將到來的衝擊做好準備。

原文作者:CARLOS E. PEREZ, INTUITION MACHINE INC.

原文鏈接:https://venturebeat.com/2018/01/02/10-predictions-for-deep-learning-in-2018/

編譯組出品。編輯:郝鵬程

 



想在手機閱讀更多網絡與創業資訊?下載【香港矽谷】Android應用
分享到Facebook
技術平台: Nasthon Systems