AI加速器是一類專門的硬件電路或計算系統(tǒng),旨在加速人工智能算法的實現(xiàn),尤其是機器學習、自然語言處理、計算機視覺和語音識別等需要大規(guī)模計算的應用。典型的應用場景包括無人駕駛系統(tǒng)、機器人技術、監(jiān)控安防等計算密集型任務場景。

AI加速器是涉及算法模型、網(wǎng)絡框架、軟件工具鏈、加速器IP和硬件平臺的復雜AI算法實現(xiàn)系統(tǒng)。深蘭科技AI加速平臺采用異構計算的FPGA芯片,并自主研發(fā)了加速器IP及整套開發(fā)工具,在多任務處理方面的優(yōu)勢尤為突出。

深蘭科技AI加速解決方案如下圖所示

1．異構計算在AI加速領域的優(yōu)勢
      深蘭科技的AI加速硬件平臺采用賽靈思的MPSOC系列FPGA。MPSOC是一種集成多處理器系統(tǒng)的異構計算芯片,其中的多處理器系統(tǒng)包括:CPU(applications processor),RTP(real-time processor),GPU(graphics processor)以及FPGA(Field Programmable Gate Array)。不同的處理器適合處理的任務不同,多處理器的異構計算系統(tǒng)在AI加速領域有著獨特的優(yōu)勢。

以人臉識別應用為例,來看一下異構計算平臺在AI加速領域的表現(xiàn)。

1．數(shù)據(jù)采集階段,計算平臺要提供傳感器接入的能力;

2．數(shù)據(jù)處理階段,計算平臺要提供常見的視頻圖像處理庫;

3．特征提取和比對階段,包含大量的數(shù)據(jù)調度和重復計算任務;

4．最終模型輸出和顯示階段,計算平臺要提供圖像疊加和視頻顯示等功能。

單獨的CPU更適合處理串行的控制流,不適用于大規(guī)模的并行計算;單獨的GPU更適合處理大規(guī)模的并行計算,但是在處理控制流方面又顯得捉襟見肘。MPSOC中的多核ARM適合視頻采集和數(shù)據(jù)預處理,FPGA中各種加速算子適合特征提取和特征比對,Mali GPU適合最終輸出顯示。多種處理器協(xié)同合作才能高效的完成人臉識別任務。

深蘭科技AI加速器如何高效工作

決定AI加速器工作效率的關鍵有三點:

1．高帶寬的片外數(shù)據(jù)吞吐;

2．高效率的片上數(shù)據(jù)緩存;

3．針對性的大規(guī)模并行計算單元。

深蘭科技AI加速器在設計的時候充分考慮了這三個因素

深蘭科技自主研發(fā)的AI加速器采用ARM和FPGA協(xié)同工作的架構,ARM和FPGA上各掛有一組帶寬高達150G的DDR4內存顆粒,兩組內存統(tǒng)一編址,便于內存管理。內存顆粒和計算單元間采用AXI4高速總線互聯(lián),AXI_INTERCONNECT可以保證高效的多路數(shù)據(jù)總線讀寫仲裁,避免多路總線沖突及帶寬分配不均衡。

高帶寬的片外數(shù)據(jù)吞吐只能保證海量的數(shù)據(jù)可以送進FPGA,數(shù)據(jù)如果要進入計算單元,還要經過高效的片上數(shù)據(jù)重組和數(shù)據(jù)緩存。深蘭科技的AI加速器按照NCHW的格式重組數(shù)據(jù),重組完的數(shù)據(jù)被寫入相應的片上緩存(RAM和FIFO)。

不同類型的計算任務由定制化開發(fā)的RTL算子完成,這樣可以保證很高的計算效率。目前完成的算子包括卷積算子、池化算子、上采樣算子、加法算子和softmax算子等,具體參數(shù)見下表。

3．深蘭科技AI加速器應用案例展示

無人駕駛應用:

紅綠燈識別,采用Mobilenet+Edlenet的組合神經網(wǎng)絡提高小目標的識別準確性。

智能交通應用:

航拍目標檢測,直升機高空俯視航拍,用于智能交通控制。

激光雷達應用:

點云數(shù)據(jù)目標檢測,使用Pixornet神經網(wǎng)絡進行3D 目標檢測的鳥瞰圖檢測。