CVPR 2020: SGAS，一種基于貪心思想的CNN/GCN網(wǎng)絡結構搜索算法
DARTS存在的部分問題
一般NAS的流程是分為搜索階段和評估階段，在訓練集與驗證集上進行結構的搜索（搜索階段），然后在測試集上進行模型的評估（評估階段）。DARTS在搜索結束的階段直接得到網(wǎng)絡結構，如圖1和公式3所示。這種策略導致在搜索和評估階段派生的網(wǎng)絡結構的性能相關性非常低。網(wǎng)絡在搜索階段的效果，并不能反映其在評估階段的真實效果。我們將這種現(xiàn)象稱之為：退化的搜索評估相關性（degeneratesearch－evaluation correlation）。我們認為造成這種想象的主要原因是：（1）搜索階段和評估階段設置的不一致性；（2）權重共享（weight sharing）造成的副作用。
舉個例子：假設我們只搜索3種候選運算，skip－connect，3x3卷積，5x5卷積。如果搜索時分配的權重分別是skip－connect （0．34），3x3卷積（0．33），5x5卷積（0．33），最后所選的操作會是沒有可學習參數(shù)的skip－connect，如果所有的邊都是這種情況，那么最后的網(wǎng)絡在評價階段性能就會很差，然而在搜索階段這個網(wǎng)絡和權重分配為skip－connect （0．33），3x3卷積（0．34），5x5卷積（0．33），最后會得到3x3卷積的網(wǎng)絡性能幾乎不會有區(qū)別。這一現(xiàn)象并不僅僅發(fā)生在DARTS上，也發(fā)生其他大部分NAS算法上，這嚴重影響了NAS的性能。
肯德爾系數(shù) au［4］可用于量化搜索評估相關性（ search－evaluation correlation）�？系聽栂禂�(shù)介于－1到1，－1表示完全負相關，1表示完全正相關。如果肯德爾系數(shù)為0，則分布完全獨立。理想的NAS方法應具有較高的搜索評估相關性 au。我們以DARTS 為例， 在CIFAR－10數(shù)據(jù)集上運行10次，分別根據(jù)搜索準確性和最終評估準確性排名，計算其肯德爾系數(shù)。一階和二階的DARTS的肯德爾系數(shù)分別僅為0．16和－0．29。因此，DARTS算法的搜索評估相關性極低，無法根據(jù)DARTS在搜索階段的效果預測模型測試階段的準確性。
圖2 搜索－測試相關性可以用肯德爾系數(shù)衡量。
常見的NAS算法，如DARTS，肯德爾系數(shù)低，無法根據(jù)其搜索階段對最終測試的準確性做出可靠的預測。
分享
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
- 1 AI 眼鏡讓百萬 APP「集體失業(yè)」？
- 2 大廠紛紛入局，百度、阿里、字節(jié)搶奪Agent話語權
- 3 深度報告｜中國AI產(chǎn)業(yè)正在崛起成全球力量，市場潛力和關鍵挑戰(zhàn)有哪些？
- 4 上海跑出80億超級獨角獸：獲上市公司戰(zhàn)投，干人形機器人
- 5 國家數(shù)據(jù)局局長劉烈宏調研格創(chuàng)東智
- 6 下一代入口之戰(zhàn)：大廠為何紛紛押注智能體？
- 7 百億AI芯片訂單，瘋狂傾銷中東？
- 8 Robotaxi新消息密集釋放，量產(chǎn)元年誰在領跑？
- 9 格斗大賽出圈！人形機器人致命短板曝光：頭腦過于簡單
- 10 為何全球AI巨頭都在搶？MCP協(xié)議背后的暴富玄機大公開！
