- 目前嵌入式視覺領域最熱門的話題之一就是機器學習

使用賽靈思提供的 reVISION? 堆棧，在異構 SoC 中能輕松實現圖像處理算法和機器學習網絡?；?SDSoC? 工具，reVISION 能同時支持傳統(tǒng)圖像應用和機器學習應用。在 reVISION 內部，同時支持 OpenVX 和 Caffe 框架。為支持 OpenVX 框架，內核圖像處理功能可被加速到可編程邏輯中，以創(chuàng)建圖像處理流水線。同時機器學習推斷環(huán)境支持可編程邏輯中的硬件優(yōu)化庫，以實現執(zhí)行機器學習實現方案的推斷引擎。

圖4：reVISION 堆棧

reVISION 提供與 Caffe 的集成，這樣實現機器學習推斷引擎就如同提供 prototxt 文件和經訓練的權重一樣簡單，框架負責處理其余工作。然后使用 prototxt 文件對運行在處理系統(tǒng)上的 C/C++ 調度器進行配置，以加速可編程邏輯中硬件優(yōu)化庫上的神經網絡推斷。可編程邏輯用于實現推斷引擎，內含 Conv、ReLu 和 Pooling 等功能。

圖5：Caffe 流程集成

機器學習推斷引擎實現方案中使用的數值表示系統(tǒng)也對機器學習性能有重要作用。機器學習應用正越來越多地使用更高效的降精度定點數值系統(tǒng)，例如 INT8 表達式。與傳統(tǒng)的浮點 32 (FP32) 方法相比，使用定點降精度數值系統(tǒng)不會造成顯著的精度下降。因為與浮點相比，定點數學在實現難度上也明顯更低，轉而采用 INT8 能在一些實現中提供更高效、更快速的解決方案。使用定點數值系統(tǒng)對在可編程邏輯解決方案中的實現方案而言相當理想，reVISION 在可編程邏輯中能與 INT8 表達式協(xié)同工作。這些 INT8 表達式方便在可編程邏輯中使用專門的 DSP 模塊。在使用相同的內核權重時，這些 DSP 模塊架構能實現最多兩個并發(fā) INT8 乘法累加運算供執(zhí)行。這樣不僅能提供高性能實現方案，而且還能夠降低功耗。只要采用，可編程邏輯的靈活性也還便于實現進一步降精度定點數值表達系統(tǒng)。

圖6：不同權重表達的網絡精度。

資料來源： https://arxiv.org/pdf/1510.00149v5.pdf

真實性能
在真實環(huán)境中，reVISION 堆棧能帶來明顯優(yōu)勢。在嵌入式視覺應用中使用機器學習的應用實例之一，如車輛避碰系統(tǒng)。在 reVISION 中針對賽靈思 UltraScale+ MPSoC 并開發(fā)相關應用，使用 SDSoC 在可編程邏輯中按需為各項功能加速以達到優(yōu)化性能，能明顯改善響應性。在都用于實現 GoogLeNet 解決方案的條件下，將 reVISION MPSoC 的響應時間與基于 GPU 的方法進行對比，差異相當明顯。reVISION 設計能在 2.7ms 內發(fā)現潛在的碰撞事件并啟動車輛制動（使用的批量規(guī)模為 1），而基于 GPU 的方法則需要用時49ms-320ms（具體取決于其實現方案）（對大批量規(guī)模）。GPU 架構需要大批量規(guī)模才能實現合理的吞吐量，但會以犧牲響應時間為代價，而 Zynq 在批量規(guī)模為 1 的情況下也能以極低時延實現高性能。這種反應時間上的差異可以決定碰撞發(fā)生與否。

總結
機器學習將繼續(xù)成為眾多應用的重要推動因素，尤其是在視覺導向機器人或所謂的“協(xié)作機器人”中。將處理器內核與可編程邏輯結合的異構 SoC, 能創(chuàng)建非常高效、極具響應性且可重配置的解決方案。像reVISION 這樣的堆棧的推出，首次將可編程邏輯的好處帶給了更廣闊的開發(fā)者社群，同時還縮短了解決方案的開發(fā)時間。