訂閱
糾錯(cuò)
加入自媒體
當(dāng)前位置： OFweek 人工智能網(wǎng)   >   其他   >  正文

CVPR 2020: SGAS，一種基于貪心思想的CNN/GCN網(wǎng)絡(luò)結(jié)構(gòu)搜索算法

SGAS詳細(xì)方案

針對退化的搜索評估相關(guān)性這一重要的問題，我們提出了SGAS（SequentialGreedy Architecture Search），一種順序貪心決策的搜索算法。

圖2 SGAS的網(wǎng)絡(luò)結(jié)構(gòu)搜索示意圖

我們基于貪心算法的思想將網(wǎng)絡(luò)結(jié)構(gòu)的搜索問題，轉(zhuǎn)化為逐步地選擇一條邊并確定其運(yùn)算的子問題。實(shí)驗(yàn)證明，依次解決這些簡單的子問題，可以讓最終結(jié)構(gòu)具有更高的搜索－測試相關(guān)性。算法的迭代過程如算法1所示。

在每個(gè)決策時(shí)期，我們根據(jù)預(yù)先確定的選擇標(biāo)準(zhǔn)選擇一條邊（i＾｛＋｝， j＾｛＋｝）。通過用公式（3）得到這條邊的運(yùn)算，并替換相應(yīng)的混合運(yùn)算o＾｛ar｝。所選擇的運(yùn)算，即是所選的邊基于貪心的最優(yōu)選擇。每當(dāng)確定好一條邊的運(yùn)算，我們就不再需要這條邊的結(jié)構(gòu)參數(shù)lpha（i＾｛＋｝， j＾｛＋｝））以及混合操作中其余路徑的權(quán)重，我們可以將這條邊從后續(xù)的優(yōu)化中去除。這樣可以帶給我們一個(gè)額外的好處是：優(yōu)化問題得到了剪枝，進(jìn)而可以提高搜索的效率。一條邊被剪枝后，剩下的超網(wǎng)絡(luò)以及參數(shù)形成一個(gè)新的子問題，該子問題將被以相同的算法迭代求解。在搜索階段的最后，便得到一個(gè)沒有權(quán)重共享的離散子網(wǎng)絡(luò)，如圖2所示。SGAS算法基于順序貪心算法，減少了在搜索階段和評價(jià)階段的模型不一致性和權(quán)重共享的副作用，使得模型的搜索－測試相關(guān)性最大化。

在SGAS中，選擇標(biāo)準(zhǔn)的設(shè)計(jì)至關(guān)重要。我們考慮影響邊的選擇的三個(gè)重要因素：邊的重要性，選擇確定性和選擇穩(wěn)定性。

邊的重要性：如果這條邊的非零運(yùn)算選擇的可能性越高，表明這條邊越重要。

選擇確定性：熵（entropy）是分布用度量不確定性的常。非零運(yùn)算的歸一化權(quán)重可以看作是一種分布：

我們將選擇確定性定義為一減去操作分布的歸一化熵：

選擇穩(wěn)定性：為了讓選擇更穩(wěn)定，我們需要考慮選擇確定性的歷史分布。直方圖相交［48］是檢測分布變化的常用方法，我們利用直方圖相交來計(jì)算第T步中的前K時(shí)間的邊的平均選擇穩(wěn)定性：

<上一頁  1  2  3  4  5  下一頁>  余下全文
聲明： 本文由入駐維科號的作者撰寫，觀點(diǎn)僅代表作者本人，不代表OFweek立場。如有侵權(quán)或其他問題，請聯(lián)系舉報(bào)。

發(fā)表評論

共0條評論，0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個(gè)字

您提交的評論過于頻繁，請輸入驗(yàn)證碼繼續(xù)

  • 看不清，點(diǎn)擊換一張  刷新

暫無評論

暫無評論

    掃碼關(guān)注公眾號
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯(cuò)
    x
    *文字標(biāo)題：
    *糾錯(cuò)內(nèi)容：
    聯(lián)系郵箱：
    *驗(yàn) 證 碼：

    粵公網(wǎng)安備 44030502002758號