AI頂會真奇葩!ICML傑出論文說變就變,田淵棟差點獲大獎? 獨家揭秘背後大瓜

作者 | 青暮
編輯 | 陳大鑫

昨天,ICML 2021發生了一件匪夷所思的事情。

在7月19日晚上,ICML 2021官網上公布了大會傑出論文的獲獎名單,評選出了一篇傑出論文和三篇榮譽提名論文。

但在7月20日上午,ICML 突然變更獲獎信息,將原來的傑出論文更改為榮譽提名,並宣布另一篇新論文是正式的傑出論文獎得主。

此消息一出,不知康奈爾大學的這兩位學者作何感想。

而 AI 科技評論在頂會報道方面向來都是手速最快,這次當然也是全網首發報道:

獲獎論文臨時變更的消息還真是頭一次遇到,還好有萬能的評論區幫忙挽救,但標題終究是誤導人了呀!

為此,AI科技評論向各位親愛的讀者說聲,抱歉

ICML 2021的這一迷惑操作也讓吃瓜群眾困惑不已。有人憑直覺認為,這突然湊上來的論文,原來評分肯定不高的吧,後來居上般的操作,難道有潛規則?

有人則猜測是評委會一直在吵架,直到公布獲獎結果的那一刻,還在爭到底哪一篇才應該當選傑出論文。並且,最後獲獎的傑出論文是有評審極力支持,再憑藉程序主席發話,從而力排眾議,讓一眾評審心服口服,得以登上寶座,成為大會黑馬。

如果真是這樣,那今年的候選論文可謂不相伯仲,評審過程肯定精彩。

但實際上,真相往往平凡的有點樸素,樸素的有點無趣——網站搞錯了。

AI科技評論聯繫到了評委會的一位成員(以下稱為評委A),其證實:一開始網站上的頒獎信息是錯的,多倫多大學、谷歌大腦的這篇論文「Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies」,在7月初就決定了是傑出論文得主。「弄錯的原因,可能就是大會議程匆忙,工作人員又多,轉交信息的時候,難免有誤。」

並且,現在的最終版獲獎名單,也早在上周五就通知了作者。

原來,只是個小烏龍。


1

小烏龍背後

估計作者們看到官網上的最初消息,特別是康奈爾大學的兩位學者,也是一臉懵,就像AI科技評論看到網站後來又更改了名單那樣懵。

但這其中也有一個小插曲,康奈爾大學這項原先被誤放為傑出論文的工作,評委A說道,「這項工作原本並不能拿提名,但很多評委都很讚賞,認為其在算法和方法論方面很出色,並且潛在影響力很大。所以在最後時刻,也就是7月11日左右,它被推選為提名論文。」

今年比較巧合的是,傑出論文和一篇榮譽提名論文都是由多倫多大學和谷歌大腦合作完成的,評委們也曾在最後時刻糾結過:這是只給一個獎呢,還是都給呢?

後來他們得出的結論是,兩篇論文的作者不一樣,都發獎吧!

評委A還告訴了AI科技評論獲獎論文的評選過程。

「具體來說,所有的候選論文都是從ICML 2021的100多篇long oral論文中選出來的,由領域主席決定候選名單。」

在5月17日,每一位領域主席都會收到一封郵件,詢問是否願意推薦自己負責的某篇論文作為候選。最後,一共有13篇論文進入候選名單。6月17日,開始獲獎論文的評選流程。「在評分時,分數只能從4、5、6里選。而在評選會議接收論文時,分數的範圍是1-6。」

推薦了候選的領域主席被分為兩組,每一組由一位程序主席負責,即華盛頓大學的Marina Meila教授,和香港科技大學的張潼教授。

對於每一篇候選論文,還會另外找兩位領域主席作為第二、第三讀者,以複查審稿人和領域主席沒發覺的問題。

在這兩組中,其中一組最後獲得提名的有兩篇,也就是康奈爾大學的「Optimal Complexity in Decentralized Training」,以及德國幾所機構合作的「Solving high-dimensional parabolic PDEs using the tensor train format」。另外一組獲得提名的則是其它三篇論文。到7月初,兩個組合併,商討最終結果。

縱觀這13篇候選論文,評委A表示,其中很多都是理論和數學比重非常高,但是機器學習比重不夠的論文,「比如我審的論文中,有一篇是關於估計一個定義在矩陣特徵值上的函數的,研究如何更快更准地計算出來,這是純計算代數的問題。」

這類論文最終都沒能得到提名,「數學和理論計算機科學還是有一定的距離。這些論文或許在其它會議、期刊,能得到更高的評價,比如SODA,或者純數學期刊等等。」

評委A還補充道,近年來,很多非機器學習領域的學者開始投ML會議,「可能是看中了頂會的流量,就算被當作冷門小眾,最後傳播量也比發數學期刊好。」

而且,很多原來聚焦於理論計算機科學和統計學的會議,其投稿中的深度學習論文也顯著多了起來。「一些現在做深度學習表徵學習的理論的學者,之前也是做統計學習的。」

AI頂會也呈現趨同現象,以機器學習中比較著名的幾個會議為例,「NeurIPS、ICML、ICLR、COLT、AISTATS原本風格都不相同的,現在除了COLT和AISTATS參會人數沒多大漲幅,NeurIPS、ICML、ICLR基本是差不多的,無論是研究課題還是寫作風格。唯一的區別,就是有沒有公開評審吧。」


2

田淵棟差點獲大獎?

接下來,AI科技評論還撿到了另一個瓜—— Facebook 田淵棟團隊差點獲得了傑出論文獎!

當時,評委會對田淵棟團隊的這篇論文有不小的爭議。比如有人覺得對線性模型的理解不能推廣到深度模型,並且提出新方法(比如今年的傑出論文)對於學界才是更主要的貢獻。但也有人質疑,難道理解現有方法就不是貢獻了嗎?

評審過程中,還有人爭論今年設置的獎項太多了。但實際上,2019年ICML評選出了兩篇傑出論文和7篇榮譽提名論文。

「這篇關於自監督學習的論文在技術層面和傑出論文不相上下,但最終評分低了一點,挺可惜的。如果大會投票決定頒發兩個傑出論文獎,比如2019年和2020年,它就能獲獎。」

程序主席總結了田淵棟團隊這篇論文最終沒能獲獎的理由——這篇論文技術性很強,也應該拿到高分,但所在領域相對於當選傑出論文還是偏冷門、偏小眾,導致潛在影響力較小。「但和別的提名以及沒有提名的候選論文相比,自監督學習仍然是很有影響力的。」

評委A也感嘆道,「另一方面,對於針對問題的研究而言,在實踐中一般不會第一時間被注意到,而更多注意到做模型、做優化的研究,這也是它們之所以冷門的一個原因。」

相對而言,那篇傑出論文更偏向於方法論,「其實四篇提名都比較偏理論,而獲獎論文更偏方法論。順便說一下,獲得test of time獎項的論文也是偏向於方法論而非理論。」

評委A補充道,做方法、算法的論文比較難脫穎而出,但它們依然是最有影響力的,「讀者群用戶群基數大,實踐中落地的可能性也更大。」


3

入選論文推薦理由一覽

對於最終入選5篇論文的推薦理由,評委A表示,總體而言是基於技術難度和潛在影響力。

比如多倫多大學、谷歌大腦合作的傑出論文「Unbiased Gradient Estimation in Unrolled Computation Graphs with Persistent Evolution Strategies」,評委會認為這項研究的技術難度高,同時它能應用到很多種類的計算圖上面。

FAIR、斯坦福大學合作的「Understanding self-supervised learning dynamics without contrastive pairs」這篇論文(田淵棟一作)則是基於技術性,以及對比學習的潛在影響力,「對比學習可以做任務無關的表徵預訓練。」

德國柏林自由大學等合作的「Solving high-dimensional parabolic PDEs using the tensor train format」這篇論文一方面是因為數學難度非常高,另一方面是開拓了機器學習新應用,「搞自然科學的人幾乎束手無策的問題,竟然能用深度學習來解,這很令人驚訝。但它實在太過於『應用數學』了,在應用數學的會議上很可能拿到最佳,但在ICML就顯得太小眾。」

多倫多大學、谷歌大腦合作的「Oops I Took A Gradient: Scalable Sampling for Discrete Distributions」,除了技術難度,「離散域上的MCMC,屬於卡了好多年的難題。本來離散的輸入是沒有梯度定義的,他們用能量函數實現了梯度定義。不過這項工作的理論基礎之前就有了,他們現在做成功了,這相當於發明蒸汽機和改進蒸汽機的區別。」評委A補充道,一共有4篇候選論文研究通過離散的代數和幾何對象,來實現近似求導,從而可以應用梯度下降算法。「有一些是word2vec的思路。先將對象轉化為embedding,然後就不再是離散域的對象了。」

康奈爾大學的「Optimal Complexity in Decentralized Training」這篇論文,則是因為在理論上對分佈式訓練有深刻的理解,「這項工作太偏理論導致受眾較窄,但分佈式訓練是未來趨勢,最終能上榜也是因為技術很強。」


4

冷門領域沒活路?

今年ICML依然選擇線上舉行,評委A告訴AI科技評論,這導致AI會議的領域關注度更加呈現出馬太效應。以下圖為參照,最熱門的當屬算法、深度學習、理論等8個領域,最冷門的甚至只有一篇論文,比如partial label,還有kernel embedding,以及two-sample test之類的統計檢驗算法,「kernel embedding在七八年前還是大熱門,真是風水輪流轉。冷門領域基本上沒人看,有一個包含22篇Poster的場,最後一共不到30個人在看,還包括了講者本人,大家待了半小時就散了,簡直快沒活路了。」

而且,由於線上參會導致人們不能逃離原來的生活和工作,所以很多人乾脆不參會了。

很真實,這也是AI科技評論的小夥伴們積極跑線下會的原因。

群體的反應是最真實的,評委A說道,儘管監督學習和分類任務不再新鮮,但依然是最熱門的課題。

當然,預訓練模型作為近兩年的寵兒,也頗受歡迎。「預訓練很有用,自己出電費,然後方便別人。但只有少數機構能做出來,無法形成龐大的社區,所以看似發展很快,實際上在方法論層面變化不大。」

其他熱門的主題包括可信賴AI,包括對抗攻擊等等,「可信賴AI在美國比較受關注,對抗攻擊則在美國、國內都有很多人在做。」


雷鋒網雷鋒網雷鋒網

想在手機閱讀更多周邊設備資訊?下載【香港矽谷】Android應用
分享到Facebook
技術平台: Nasthon Systems