本文為 AI 研習社編譯的技術博客，原標題 ：
Review: RoR — ResNet of ResNet / Multilevel ResNet (Image Classification)
作者 | Sik-Ho Tsang
翻譯 | 斯蒂芬·二狗子
校對 | 醬番梨 審核 | 約翰遜·李加薪 整理 | 立魚王
原文鏈接：
https://towardsdatascience.com/review-ror-resnet-of-resnet-multilevel-resnet-image-classification-cd3b0fcc19bb
在本文中，我們簡短地回顧一下RoR（殘餘網絡的殘餘網絡）。在成為最先進的深度學習方法並贏得眾多競賽認可的ResNet成功之後，有許多研究者對如何推廣或改進ResNet的做出了研究，相關的有 Pre-Activation ResNet, ResNet in ResNet (RiR), ResNet with Stochastic Depth (SD), Wide Residual Network (WRN)。RoR就是一篇改進ResNet的論文，它們引入了一組概念，就是帶有短連接的ResNet模塊。這個創新使得網絡成為多級分層的ResNet模型。這篇論文於2016年首次出現在ResNet之後，於2017年被接受並最終於2018年TCSVT發表，已經有數十篇引文。
本文包括的內容：
RoR的概念（Res網絡模塊的殘差網絡）
RoR-m：等級數m
RoR的不同版本
結論
1.RoR概念（殘差網絡的殘差網絡）
原始ResNet（左），RoR（右）
Original ResNet 顯示在左上方，許多Res塊級聯在一起並形成一個非常深的網絡。
在 Res塊 中，有兩條路徑：
卷積路徑，執行卷積以提取特徵。
短連接方式將輸入信號直接傳輸到下一層的連接路徑。
利用短連接路徑，可以減少梯度消失問題，因為在反向傳播期間誤差信號可以更容易地傳播到前面的層。
上面右側顯示的RoR的建議，我們也可以在多個Res塊上進行短連接。除此之外，我們還可以在一組「剩餘塊組」中建立另一級別的短連接。
作者認為：
RoR將學習問題轉變為學習殘差到殘差映射，這比原始 ResNet 更簡單，更容易學習。
並且上面的塊中的層也可以將信息傳播到下面塊中的層。
2.RoR-：Level Number m
級別編號m介紹：
當m = 1時，RoR僅具有最終級短連接，即原始殘差網絡。
當m = 2時，RoR只有root-level（最外層）和最終級別的短連接。
當m = 3時，RoR具有根級別，中級和最終級別的連接。
對於中級連接，每個短連接將跨越具有相同數量的特徵圖的Res塊。
對m = 4和5也進行了測試，但在論文中沒有任何關於它的細節。結果與m = 3相比不夠好。
3.RoR的不同版本
RoR-3使用原始ResNet（左），RoR-3使用Pre-ResNet或WRN（右）
如上圖所示，RoR適應於不同版本的ResNet。
RoR-3：使用原始ResNet且m = 3的RoR
Pre-RoR-3：使用Pre-Activation ResNet且m = 3的RoR
RoR-3-WRN：使用WRN且m = 3的RoR
簡而言之，RoR-3使用Conv-BN-ReLU。 Pre-RoR-3使用BN-ReLU-Conv，而WRN是更寬更淺的Pre-RoR-3。 （如果有興趣，請閱讀我對原始ResNet，Pre-Activation ResNet和WRN的評論，見原文。）
4.結果
4.1三個數據集CIFAR-10, CIFAR-100, SVHN
CIFAR-10: 10類分類數據
CIFAR-100: 100類分類數據
SVHN: 街景房屋號數據集
CIFAR-10，CIFAR-100，SVHN數據集上的測試的錯誤率（％）
RoR-3-164：通過將RoR應用於164層原始ResNet，
（+ SD 表示使用隨機深度，以減少過度擬合），分別獲得CIFAR-10和CIFAR-100數據集的4.86%和 22.47%測試錯誤率。
（164是模型深度。）Pre-RoR-3-164 + SD：通過用Pre-ResNet替換原始殘差模塊的RoR模型，分別獲得CIFAR-10和CIFAR-100數據集的4.51％和21.94％測試錯誤率。
RoR-3-WRN40-4 + SD：通過用更寬的40層WRN40-4替換pre-ResNet，分別獲得CIFAR-10和CIFAR-100數據集的4.09％和20.11％測試錯誤率。
RoR-3-WRN58-4 + SD：對於更深層的58層WRN-58-4，分別獲得了CIFAR-10和CIFAR-100數據集的3.77％和19.73％的測試錯誤率。
4.2 ImageNet數據集
ImageNet：ILSVRC中的1000類的大規模數據集。
ImageNet數據集上的10個目標的Top1和Top5測試錯誤率（％）
RoR-3的不同層版本始終優於ResNet的不同層版本。本文中有詳細的驗證實驗。如有興趣，請訪問論文。
使用長跳過連接和短跳過連接的類似方法也已應用於生物醫學圖像分割。希望我也可以下一次談這個。
相關參考
[2018 TCSVT] [RoR]
Residual Networks of Residual Networks: Multilevel Residual Networks
我對圖像分類的相關評論博文
[LeNet] [AlexNet] [ZFNet] [VGGNet] [SPPNet] [PReLU-Net] [GoogLeNet / Inception-v1] [BN-Inception / Inception-v2] [Inception-v3] [Inception-v4] [Xception] [MobileNetV1] [ResNet] [Pre-Activation ResNet] [RiR] [Stochastic Depth] [WRN] [DenseNet]
感謝 Ludovic Benistant.
想要繼續查看該篇文章相關鏈接和參考文獻？雷鋒網雷鋒網雷鋒網
點擊【RoR（ResNet of ResNet） - 用於圖像分類的多級殘差網絡】或長按下方地址訪問：
https://ai.yanxishe.com/page/TextTranslation/1526
Python中文書籍大集合
100本Python中文電子書，6份源代碼，Python從入門到出家，一條龍服務。
包含Python基礎、進階、爬蟲、算法實現、深度學習、TensorFlow、NLP等等
友情提示：文件大小為2.89GB，慎用流量下載，可以先收藏喲~~！
點擊鏈接即可獲取：https://ai.yanxishe.com/page/resourceDetail/676
