給手機“減負”！Facebook發(fā)布提高設(shè)備AI工作能效的AutoScale
決定AI應(yīng)用在智能手機上終端還是在云端運行，對于用戶和開發(fā)AI應(yīng)用的企業(yè)都十分重要，因為這與運行設(shè)備的長期電池壽命息息相關(guān)。大多數(shù)智能手機都或多或少地嵌入了AI應(yīng)用，但如果所有的AI工具都在終端運行，有可能導(dǎo)致手機性能下降；而在云端運行，則可能導(dǎo)致較長的調(diào)用時間。
為了解決這一問題，近日Facebook和亞利桑那州立大學(xué)建立了一個支持AI減輕設(shè)備負荷的模型——AutoScale。該模型能夠自動決策部署AI運行的位置，節(jié)省了大量成本，將AI工具的能效提高到基線方法的10．8倍；更能準確預(yù)測AI應(yīng)用的合適位置，達到高性能和低能耗兼?zhèn)涞睦硐胄Ч?/p>
高能效＋低負荷
AutoScale：挖掘強化學(xué)習(xí)算法的潛能
AutoScale會觀察當(dāng)前的AI工作執(zhí)行效率，包括算法的架構(gòu)特征和運行時間差異。它在協(xié)同處理器等硬件之間選擇，找到能夠最大限度提高能源效率的硬件，以保證AI助手的服務(wù)質(zhì)量。對選定硬件定義的目標執(zhí)行推理后，通過觀察其結(jié)果，包括演算運行能耗、延遲度和推理精度，以表明選中的硬件是否提高了AI工作效率。
AutoScale模型
AutoScale基于強化學(xué)習(xí)算法，計算累計獎勵（R值），來選擇AI工具的最佳運行方式。例如：對于給定的處理器，系統(tǒng)使用基于AI能效利用率的模型計算獎勵，假設(shè)處理器內(nèi)核消耗的功率是可變的，內(nèi)核在繁忙和空閑狀態(tài)下花費的處理時間不同，其能源使用情況也各不相同。相比之下，當(dāng)推理擴展到連接的數(shù)據(jù)中心時，AutoScale可以借助基于信號強度的模型來計算獎勵，預(yù)測傳輸延遲度和網(wǎng)絡(luò)消耗的能量。
在適應(yīng)QoS限制條約的前提下，比起基線模型，AutoScale更能提高能效。
分享
請輸入評論內(nèi)容...
請輸入評論/評論長度6~500個字
最新活動更多
推薦專題
-
8 每日AI全球觀察
- 1 特斯拉工人被故障機器人打成重傷，索賠3.6億
- 2 【行業(yè)深度研究】退居幕后四年后，張一鳴終于把算法公司變成AI公司？
- 3 AI 時代，阿里云想當(dāng)“安卓” ，那誰是“蘋果”？
- 4 拐點已至！匯川領(lǐng)跑工控、埃斯頓份額第一、新時達海爾賦能扭虧為盈
- 5 硬剛英偉達！華為發(fā)布全球最強算力超節(jié)點和集群
- 6 隱退4年后，張一鳴久違現(xiàn)身！互聯(lián)網(wǎng)大佬正集體殺回
- 7 L3自動駕駛延期，逼出車企技術(shù)自我淘汰
- 8 谷歌“香蕉”爆火啟示：國產(chǎn)垂類AI的危機還是轉(zhuǎn)機？
- 9 00后華裔女生靠兩部AI電影狂賺7.8億人民幣，AI正式進軍好萊塢
- 10 機器人9月大事件｜3家國產(chǎn)機器人沖刺IPO，行業(yè)交付與融資再創(chuàng)新高！
