多任務深度學習的三個經驗教訓

雷鋒網 AI 科技評論按,AZohar Komarovsky,Taboola 算法工程師,致力於研究推薦系統相關的機器學習應用程序。不久前他分享了最近一年關於多任務深度學習的研究經驗。雷鋒網 AI 科技評論編譯整理如下:

在過去的一年裡,我和我的團隊一直致力於提高 Taboola Feed 的個性化用戶體驗。我們使用多任務學習(MTL)來預測同一組輸入特性上的多個關鍵性能指標(KPIs),並在 TensorFlow 中實現了一個深度學習(DL)模型。但是,在我們開始着手這項研究的時候,MTL 對我們來說比現在複雜得多,所以我想分享一些經驗教訓。

在本文中,我將分享一些在神經網絡(NN)中實現 MTL 時具體需要考慮哪些方面的問題,我還將對這些問題提出簡單的 TensorFlow 解決方案。

我們想從硬參數共享(hard parameter sharing)的基本方法開始。硬共享意味着我們有一個共享子網,這個子網是特定於任務的。

在 TensorFlow 中使用這種模型時,由於它看起來與其他 NN 體系結構沒有那麼大的不同,您可能會覺得自己有哪裡做錯了。雷鋒網

經驗 1-損失合併

我們在 MTL 模型中遇到的第一個挑戰是為多個任務定義單個損失函數。雖然單個任務有定義明確的損失函數,但多個任務會帶來多個損失。

我們最開始嘗試的做法是直接將所有的損失相加。不久我們就發現,當一個任務趨同於好的結果時,其他任務看起來相當糟糕。造成這個現象的原因很簡單,因為損失的規模是如此的不同,以至於一個任務主導了整個損失,而其餘的任務沒有機會影響共享層的學習過程。

一個快速的解決辦法是用一個加權和替代損失的直接相加和,使所有的損失對共享層的影響大致相同。然而,這個解決方案涉及另一個超參數,可能需要每隔一段時間調整一次。

幸運的是,我們發現了一篇很棒的論文,論文建議使用不確定性來衡量 MTL 中的損失。具體方法是學習另一個噪聲參數,該參數集成在每個任務的損失函數中。這允許 MTL 中有多個任務,並使所有損失達到相同的規模。

通過這種方法,不僅可以得到比加權和更好的結果,而且不需要考慮附加的權重超參數。這篇論文的作者還提供了一個 keras 實現方法

經驗 2-調整學習速率

學習速率是調節神經網絡最重要的超參數之一,這是一個常見的規律。所以我們嘗試了調優,發現了對不同任務來說最優的調試速率。選擇較高的學習率會導致其中一個任務的 dying Relu,而使用較低的學習率會導致另一個任務的收斂緩慢。那我們該怎麼辦?我們可以讓每個特定於任務的子網調整為單獨的學習速率,並將共享子網調整為另一個速率。

雖然這聽起來很複雜,但實際上相當簡單。通常,在 TensorFlow 中訓練神經網絡時,您可以使用如下方法:

optimizer = tf.train.AdamOptimizer(learning_rate).minimize(loss)

AdamOptimizer 定義了應該如何應用漸變,並最小化計算並應用它們。我們可以用自己的實現來代替最小化,該實現將對計算圖中的每個變量使用適當的學習速率:

all_variables = shared_vars + a_vars + b_vars
all_gradients = tf.gradients(loss, all_variables)


shared_subnet_gradients = all_gradients[:len(shared_vars)]
a_gradients = all_gradients[len(shared_vars):len(shared_vars + a_vars)]
b_gradients = all_gradients[len(shared_vars + a_vars):]


shared_subnet_optimizer = tf.train.AdamOptimizer(shared_learning_rate)
a_optimizer = tf.train.AdamOptimizer(a_learning_rate)
b_optimizer = tf.train.AdamOptimizer(b_learning_rate)


train_shared_op = shared_subnet_optimizer.apply_gradients(zip(shared_subnet_gradients, shared_vars))
train_a_op = a_optimizer.apply_gradients(zip(a_gradients, a_vars))
train_b_op = b_optimizer.apply_gradients(zip(b_gradients, b_vars))


train_op = tf.group(train_shared_op, train_a_op, train_b_op)

另外,這個技巧實際上也可以應用於單任務網絡。

經驗 3-使用評估作為特徵

一旦我們通過了創建預測多個任務的 NN 的第一個階段,我們可能會將某個任務的評估作為另一個任務的結果。這個估計是張量,所以我們可以像連接其他層的輸出一樣連接它。但是在反向傳播中會發生什麼呢?

假設任務 A 的估計值作為一個特性傳遞給任務 B。我們可能並不想將梯度從任務 B 傳回任務 A,因為我們已經給了任務 A 標籤。

別擔心,TensorFlow 的 API 有 tf.stop_gradient,它正是為了解決這個問題而存在的。當計算梯度時,它可以讓你傳遞一個張量列表,你想把它當作常數,這正是我們所需要的。

all_gradients = tf.gradients(loss, all_variables, stop_gradients=stop_tensors)

同樣地,這在 MTL 網絡中很有用,但它不僅僅在 MTL 網絡中有用。只要您想用 TensorFlow 計算一個值,並且需要假設該值是一個常量,就可以使用此技術。例如,當訓練生成對抗網絡(GANs)時,您不希望在生成對抗性網絡的過程中進行反向傳播。

via:https://engineering.taboola.com/deep-multi-task-learning-3-lessons-learned/


想在手機閱讀更多其他資訊?下載【香港矽谷】Android應用
分享到Facebook
技術平台: Nasthon Systems