3 款手機(jī)實(shí)驗(yàn)，3 次場景模擬

為了驗(yàn)證AutoScale的有效性，團(tuán)隊(duì)在三款智能手機(jī)上進(jìn)行了實(shí)驗(yàn)，每款手機(jī)都用功率表測量其能耗，這三款手機(jī)分別是：小米Mi 8 Pro、三星Galaxy S10e和摩托羅拉Moto X Force。為了模擬云推理執(zhí)行，他們將手機(jī)連接到服務(wù)器，通過Wi－Fi Direct將三星S6平板電腦連接到手機(jī)，模擬執(zhí)行AI助手的口令。

AutoScale的推理方式主要分為五步：1． 將DNN特征和環(huán)境信息等設(shè)置為輸入源2． 在查找表中選擇合適的預(yù)測操作3． 將AI工具分配到預(yù)測的位置4． 記錄AI工具的運(yùn)行能效，評(píng)估各參數(shù)后給出R值5． 將記錄好的參數(shù)更新在查找表里，實(shí)現(xiàn)自適應(yīng)性預(yù)測。

針對(duì)這三款手機(jī)，AutoScale準(zhǔn)確選擇出理想的執(zhí)行目標(biāo)

實(shí)驗(yàn)顯示，在自動(dòng)定量訓(xùn)練階段，設(shè)備執(zhí)行了100次推理訓(xùn)練，使用了64，000個(gè)訓(xùn)練樣本，并編譯或生成了10個(gè)AI模型，其中包括機(jī)器翻譯工具M(jìn)obileBERT和圖像分類器Inception。團(tuán)隊(duì)分別在靜態(tài)和動(dòng)態(tài)設(shè)置情況下展開后續(xù)實(shí)驗(yàn)，針對(duì)每種設(shè)置情況模擬了三個(gè)不同的場景：

· non－streaming計(jì)算機(jī)視覺測試場景，允許AutoScale對(duì)手機(jī)攝像頭拍攝照片功能進(jìn)行推理；

· streaming計(jì)算機(jī)視覺場景，AutoScale可以對(duì)手機(jī)攝像頭的實(shí)時(shí)拍攝視頻功能進(jìn)行推理；

· 調(diào)用翻譯工具的場景，AutoScale能夠?qū)Ψ�譯AI工具的編譯過程進(jìn)行推理。

在現(xiàn)實(shí)環(huán)境模擬中，AutoScale準(zhǔn)確預(yù)測了理想執(zhí)行目標(biāo)，并極大地提高了DNN邊緣推理的能效。在以上三個(gè)場景中，AutoScale的表現(xiàn)都優(yōu)于基線模型。AutoScale的網(wǎng)絡(luò)延遲度較低，在non－streaming計(jì)算機(jī)視覺測試場景中的延遲時(shí)間甚至縮短到小于50毫秒，其在翻譯場景中的延遲時(shí)間則小于100毫秒。它也同時(shí)在維持低延遲的條件下保持了高性能，比如在streaming計(jì)算機(jī)視覺場景中，它可以達(dá)到每秒處理約30幀畫面的工作效率。

此外，AutoScale的預(yù)測準(zhǔn)確率高達(dá)97．9％，在邊緣推理方面的能效是基線模型所能做到的1．6～10．8倍。它占用的內(nèi)存也較小，僅有0．4MB，相比之下，中端手機(jī)的內(nèi)存容量為3GB，AutoScale僅需占用0．01％，可見其“性價(jià)比”之高。

Facebook和亞利桑那州立大學(xué)的研究人員樂觀地表示：“我們證明了AutoScale是一個(gè)可行的、能夠自動(dòng)化推理出最低AI能耗的解決方案的模型，并將為在各種實(shí)際執(zhí)行環(huán)境下進(jìn)行DNN邊緣推理的能效改進(jìn)工作預(yù)先做好萬全的準(zhǔn)備�！�