DARTS存在的部分問題

一般NAS的流程是分為搜索階段和評估階段，在訓(xùn)練集與驗證集上進(jìn)行結(jié)構(gòu)的搜索（搜索階段），然后在測試集上進(jìn)行模型的評估（評估階段）。DARTS在搜索結(jié)束的階段直接得到網(wǎng)絡(luò)結(jié)構(gòu)，如圖1和公式3所示。這種策略導(dǎo)致在搜索和評估階段派生的網(wǎng)絡(luò)結(jié)構(gòu)的性能相關(guān)性非常低。網(wǎng)絡(luò)在搜索階段的效果，并不能反映其在評估階段的真實效果。我們將這種現(xiàn)象稱之為：退化的搜索評估相關(guān)性（degeneratesearch－evaluation correlation）。我們認(rèn)為造成這種想象的主要原因是：（1）搜索階段和評估階段設(shè)置的不一致性；（2）權(quán)重共享（weight sharing）造成的副作用。

舉個例子：假設(shè)我們只搜索3種候選運算，skip－connect，3x3卷積，5x5卷積。如果搜索時分配的權(quán)重分別是skip－connect （0．34），3x3卷積（0．33），5x5卷積（0．33），最后所選的操作會是沒有可學(xué)習(xí)參數(shù)的skip－connect，如果所有的邊都是這種情況，那么最后的網(wǎng)絡(luò)在評價階段性能就會很差，然而在搜索階段這個網(wǎng)絡(luò)和權(quán)重分配為skip－connect （0．33），3x3卷積（0．34），5x5卷積（0．33），最后會得到3x3卷積的網(wǎng)絡(luò)性能幾乎不會有區(qū)別。這一現(xiàn)象并不僅僅發(fā)生在DARTS上，也發(fā)生其他大部分NAS算法上，這嚴(yán)重影響了NAS的性能。

肯德爾系數(shù) au［4］可用于量化搜索評估相關(guān)性（ search－evaluation correlation）。肯德爾系數(shù)介于－1到1，－1表示完全負(fù)相關(guān)，1表示完全正相關(guān)。如果肯德爾系數(shù)為0，則分布完全獨立。理想的NAS方法應(yīng)具有較高的搜索評估相關(guān)性 au。我們以DARTS 為例， 在CIFAR－10數(shù)據(jù)集上運行10次，分別根據(jù)搜索準(zhǔn)確性和最終評估準(zhǔn)確性排名，計算其肯德爾系數(shù)。一階和二階的DARTS的肯德爾系數(shù)分別僅為0．16和－0．29。因此，DARTS算法的搜索評估相關(guān)性極低，無法根據(jù)DARTS在搜索階段的效果預(yù)測模型測試階段的準(zhǔn)確性。

圖2 搜索－測試相關(guān)性可以用肯德爾系數(shù)衡量。

常見的NAS算法，如DARTS，肯德爾系數(shù)低，無法根據(jù)其搜索階段對最終測試的準(zhǔn)確性做出可靠的預(yù)測。