前言:這篇論文旨在以極低的計(jì)算成本解決性能大幅下降的問題。提出了微分解卷積,將卷積矩陣分解為低秩矩陣,將稀疏連接整合到卷積中。提出了一個新的動態(tài)激活函數(shù)-- Dynamic Shift Max,通過最大化輸入特征圖與其循環(huán)通道移位之間的多個動態(tài)融合來改善非線性。

在這兩個新操作的基礎(chǔ)上,得到了一個名為 MicroNet 的網(wǎng)絡(luò)系列,它在低 FLOP 機(jī)制中實(shí)現(xiàn)了比現(xiàn)有技術(shù)顯著的性能提升。在 12M FLOPs 的約束下,MicroNet 在 ImageNet 分類上達(dá)到了 59．4% 的 top-1 準(zhǔn)確率,比 MobileNetV3 高 9．6%。

歡迎關(guān)注公眾號 CV技術(shù)指南 ,專注于計(jì)算機(jī)視覺的技術(shù)總結(jié)、最新技術(shù)跟蹤、經(jīng)典論文解讀。

論文出發(fā)點(diǎn)

高效 CNN 架構(gòu)的最新進(jìn)展成功地將 ImageNet 分類的計(jì)算成本從 3．8G FLOPs (ResNet-50) 降低了兩個數(shù)量級到大約 40M FLOPs(例如 MobileNet、ShuffleNet),性能下降合理。

然而,當(dāng)進(jìn)一步降低計(jì)算成本時,它們會遭受顯著的性能下降。例如,當(dāng)計(jì)算成本分別從 44M 下降到 21M 和 12M MAdds 時,MobileNetV3 的 top-1 準(zhǔn)確率從 65．4% 大幅下降到 58．0% 和 49．8%。

這篇論文的目標(biāo)是將極低 FLOP 機(jī)制下的精度從 21M 降到 4M MAdds,這標(biāo)志著計(jì)算成本降低到另一個數(shù)量級。

處理極低計(jì)算成本(4M-21M FLOPs)的問題非常具有挑戰(zhàn)性,考慮到輸入數(shù)據(jù)大小為 224×224x3,在第一層 3 × 3 卷積、輸出通道8的操作上就消耗了 2．7M MAdds。 剩余的資源太有限,無法設(shè)計(jì)有效分類所需的卷積層和 1,000 類分類器。

如上圖所示,減少現(xiàn)有高效 CNN(例如 MobileNet 和 ShuffleNet)的寬度或深度的常見策略會導(dǎo)致嚴(yán)重的性能下降。

這篇論文專注于新的算子設(shè)計(jì),同時將輸入分辨率固定為 224×224,預(yù)算成本為 4M FLOPs。

創(chuàng)新思路

這篇論文從兩個角度處理極低的 FLOPs:節(jié)點(diǎn)連接性(node connectivity)和非線性(non-linearity),這與網(wǎng)絡(luò)寬度和深度有關(guān)。

首先,降低節(jié)點(diǎn)連接以擴(kuò)大網(wǎng)絡(luò)寬度為給定的計(jì)算預(yù)算提供了一個很好的權(quán)衡。其次,依靠改進(jìn)的層非線性來補(bǔ)償減少的網(wǎng)絡(luò)深度,這決定了網(wǎng)絡(luò)的非線性。這兩個因素促使設(shè)計(jì)更有效的卷積和激活函數(shù)。

Methods

Micro-Factorized Convolution

分為兩部分:Micro-Factorized Pointwise Convolution和 Micro-Factorized Depthwise Convolution,兩者再以不同方式組合。

Micro-Factorized Pointwise Convolution

論文提出了微分解卷積 (MF-Conv) 將逐點(diǎn)卷積分解為兩個組卷積層,其中組數(shù) G 適應(yīng)通道數(shù) C 為:G = sqrt(C/R)。其中 R 是兩者之間的通道縮減比。

對于給定的計(jì)算成本,該等式在通道數(shù)量和節(jié)點(diǎn)連接之間實(shí)現(xiàn)了良好的折衷。

如上圖所示,輸入通道數(shù)C分為G組,G組再通過中間一個 (C/R × C/R )的置換矩陣Φ 降低通道數(shù),這個置換矩陣類似于shufflenet中的打亂通道順序的操作。

Micro-Factorized Depthwise Convolution

這個部分是引用Inception_v2中的分解卷積,在使用Depthwise的基礎(chǔ)上,將KxK卷積核分為Kx1和1xK兩部分。

Micro-Factorized pointwise 和 depthwise 卷積可以以兩種不同的方式組合:(a) 常規(guī)組合,和 (b) lite 組合。

前者只是將兩個卷積連接起來。 上圖所示的 lite 組合使用微分解深度卷積來擴(kuò)展通道數(shù)量,通過為每個通道應(yīng)用多個空間濾波器。 然后應(yīng)用一組自適應(yīng)卷積來融合和壓縮通道數(shù)。 與其常規(guī)組合方式相比,它通過節(jié)省通道融合(pointwise)計(jì)算在學(xué)習(xí)空間過濾器(depthwise)上花費(fèi)更多資源,經(jīng)驗(yàn)證明這對于實(shí)現(xiàn)較低的網(wǎng)絡(luò)層更有效。

Dynamic Shift-Max

考慮到Micro-Factorized pointwise 卷積更注重組內(nèi)的連接,因此提出Dynamic Shift-Max,這是一種新的動態(tài)非線性,用于加強(qiáng)由Micro-Factorized創(chuàng)建的組之間的聯(lián)系。

Dynamic Shift-Max 輸出 K 個融合的最大值,每個融合組合多個 (J) 組位移為

其中J表示組數(shù),i表示通道數(shù),K表示融合后的輸出數(shù)量。當(dāng)J=K=2時,可以在準(zhǔn)確率和復(fù)雜度之間取得較好的折衷。

這個公式用一句話來解釋就是,每J個組,對每組的x進(jìn)行加權(quán)求和,共K個融合,然后取K個中的最大值作為第i個通道上的激活函數(shù)值。

這樣,DY-Shift-Max 實(shí)現(xiàn)了兩種形式的非線性: (a) 輸出 J 組的 K 個融合的最大值,以及 (b) 通過動態(tài)參數(shù)。

第一個非線性是對 Micro-Factorized pointwise 卷積的補(bǔ)充,它側(cè)重于每個組內(nèi)的連接,加強(qiáng)組之間的連接。第二個使網(wǎng)絡(luò)能夠根據(jù)輸入 x 調(diào)整這種強(qiáng)化。這兩個操作增加了網(wǎng)絡(luò)的表示能力,補(bǔ)償了減少層數(shù)所帶來的損失。

MicroNet

Conclusion

在 12M FLOPs 的約束下,MicroNet 在 ImageNet 分類上達(dá)到了 59．4% 的 top-1 準(zhǔn)確率,比 MobileNetV3 高 9．6%。

對 ImageNet 分類的評估。左:top-1 準(zhǔn)確率與 FLOPs。右圖:top-1 準(zhǔn)確率與延遲。注意添加了 Mo bileNetV3 ×0．75 以方便比較。MicroNet 優(yōu)于 MobileNetV3,尤其是在計(jì)算成本極低的情況下(當(dāng) FLOPs 小于 15M 或延遲小于 9ms 時,top-1 精度提高 5% 以上)。

動態(tài) Shift-Max 與 ImageNet 上的其他激活函數(shù)的比較。

本文來源于公眾號 CV技術(shù)指南 的論文分享系列。

歡迎關(guān)注公眾號 CV技術(shù)指南 ,專注于計(jì)算機(jī)視覺的技術(shù)總結(jié)、最新技術(shù)跟蹤、經(jīng)典論文解讀。