U-Net 和 ResNet:長短跳躍連接的重要性(生物醫學圖像分割)

本文為 AI 研習社編譯的技術博客,原標題 :

Review: U-Net+ResNet — The Importance of Long & Short Skip Connections (Biomedical Image Segmentation)

作者 | SH Tsang

翻譯 | 斯蒂芬二狗子         

校對 | 醬番梨        審核 | 約翰遜·李加薪       整理 | 立魚王

原文鏈接:

https://medium.com/datadriveninvestor/review-u-net-resnet-the-importance-of-long-short-skip-connections-biomedical-image-ccbf8061ff43

這次,我們來聊一聊用於生物醫學圖像分割的的一種全卷積神經網絡,這個網絡帶有長短跳躍連接。

上次,我已經回顧了 RoR (ResNet of ResNet, Residual Networks of Residual Networks)(這是2018年的TCSVT論文,如果有興趣,請訪問我的評論。)在RoR中,通過使用長短跳躍連接,圖像分類準確性得到提高。實驗結果證明了使用長短跳躍連接的有效性。

這一次,作者還提供了一種通過分析網絡中的權重來展示其有效性的方法,而不僅僅是展示實驗結果。

儘管這項工作的目的是進行生物醫學圖像分割,但通過觀察網絡內的權重,我們可以更好地理解長短跳躍連接。它發佈於2016年DLMIA(醫學圖像分析中的深度學習),引用次數超過100次。 (SH Tsang @ Medium)

電子顯微鏡(Electron Microscopy,EM)圖像分割


  文章概要

  1. ResNet中的Skip連接,跳躍連接

  2. 長和短的跳躍連接

  3. 損失函數

  4. 結論

  5. 權重分析


  1.ResNet中的跳躍連接


ResNet 建立的模塊

  • 在ResNet中,使用連續的ResNet網絡構建模塊。

  • 僅使用短跳躍連接。並且沒有長連接。


  2.長和短的跳躍連接


(a)具有長跳躍連接  的ResNet,(b)Bottleneck塊,(c)Basic塊,(d)Simple塊。 (藍色:可選下採樣,黃色:可選上採樣)

(a)具有長跳躍連接的殘差網絡

  • 下採樣(藍色):這是一個收縮路徑。

  • 上採樣(黃色):這是一個不斷擴展的路徑。

  • 這是一種類似U-Net的FCN架構。

  • 從收縮路徑到擴展路徑有很長的跳躍連接。

(b) Bottleneck Block

  1. 用1x1Conv-3x3Conv-1x1Conv這樣的結構,因此它被稱為瓶頸。它已經在ResNet中使用。

  2. 在每個Conv之前使用BN-ReLU,這是來自Pre-ResNet的idea。

(c) Basic Block

  • 兩個3x3Conv,同樣ResNet使用過

(d) Simple Block

  • 一個3x3Conv

(b)-(d)

  • 所有塊都包含短跳躍連接。

詳細的模型架構說明


   3.損失函數

考慮了2種損失函數

3.1. 二元交叉式損失函數

  • 標準的交叉熵損失函數

3.2. Dice Loss

  • Dice Loss是生物醫學圖像分割的另一種常見損失函數。


   4.結果

4.1數據集

  • 訓練集:30個電子顯微鏡(EM)圖像,大小為512×512。 25個圖像用於訓練,留5個圖像進行驗證。

  • 測試集:另外30張圖片。

  • 圖像是全分辨率輸入到網絡。

  • 沒有后處理步驟。

4.2 長和短的跳躍連接

隨着epoches的損失/準確性:(a)長和短連接,(b)僅短,(c)僅長

最好的損失值

  • 如上所述,在上述3種設置中,同時使用長和短連接可以獲得最小的損耗或最高的精度。

4.3 與最先進的方法進行比較

ISBI EM分割挑戰

(http://brainiac2.mit.edu/isbi_challenge/)

  • 在ISBI EM分段挑戰中,Vrand和Vinfo值用於排名評估。

  • 前景限制Rand評分值:它是Rand分割分數得分和Rand合併得分的加權和的均值。分割和合併分數可以被解釋為精度,並且在像素對的分類中被看為屬於相同的分割(正類)或不同的分割(負類)。

  • 信息論評分Vinfo:信息論分割得分和信息理論合併得分的加權和的均值。它是互信息(MI)的衡量標準,可作為Rand評分的替代方案。

  • 兩個指標的細節:https://www.frontiersin.org/articles/10.3389/fnana.2015.00142/full

  • 所提出的方法(表格底部)與CUMedVision和U-Net相當。雖然它有點遜色,但提出的方法不使用任何后處理步驟,這是一種端到端的學習解決方案。


   5:權重分析

(a)長短跳躍連接,(b)只有9次重複簡單塊的長連接,(c)只有3次重複簡單塊的長連接,(d)只有7次重複簡單塊的長連接沒有BN。

  • 藍色: 小權重值

  • 紅色:    大權重值

(a)長/短跳躍連接

  • 當存在長跳過連接和短跳過連接時,參數更新似乎分佈均勻。

(b)只有9次重複簡單塊的長連接

  • 當刪除短連接時,網絡的深層部分幾乎沒有更新。

  • 當保留長連接時,至少可以更新模型的淺層部分。

(c)只有3次重複簡單塊的長連接 

  •  當模型足夠淺,可以很好地更新所有圖層。

(d)只有7次重複簡單塊的長連接沒有BN 

  •  沒有批量規範化BN的網絡對網絡中心的更新減少了。

在關於權重分析進行總結,由於梯度消失問題(通過短跳過連接減輕),更靠近模型中心的層不能有效地更新。

參考

[2016] [DLMIA]
The Importance of Skip Connections in Biomedical Image Segmentatio

想要繼續查看該篇文章相關鏈接和參考文獻?

點擊【U-Net 和 ResNet:長短跳躍連接的重要性(生物醫學圖像分割)】或長按下方地址:

https://ai.yanxishe.com/page/TextTranslation/1525

AI研習社今日推薦:雷鋒網雷鋒網雷鋒網

卡耐基梅隆大學 2019 春季《神經網絡自然語言處理》是CMU語言技術學院和計算機學院聯合開課,主要內容是教學生如何用神經網絡做自然語言處理。神經網絡對於語言建模任務而言,可以稱得上是提供了一種強大的新工具,與此同時,神經網絡能夠改進諸多任務中的最新技術,將過去不容易解決的問題變得輕鬆簡單。

加入小組免費觀看視頻:https://ai.yanxishe.com/page/groupDetail/33


想在手機閱讀更多Ruby on Rails資訊?下載【香港矽谷】Android應用
分享到Facebook
技術平台: Nasthon Systems