自適應(yīng)計(jì)算助力智能安防快速升級(jí)

《安創(chuàng)“芯”視野》第31期，邀請(qǐng)到Xilinx軟件和AI解決方案市場(chǎng)部高級(jí)經(jīng)理劉珊珊，她圍繞賽靈思最新推出的邊緣側(cè)智能視覺(jué)加速系統(tǒng)模塊及統(tǒng)一的Vitis軟件工具開(kāi)發(fā)流程，為大家介紹如何快速打造低時(shí)延、低功耗、高吞吐的端到端智能視覺(jué)解決方案。

（以下是分享內(nèi)容整理）

大家好，我是來(lái)自賽靈思軟件AI解決方案市場(chǎng)部的劉姍姍，今天分享的主題是“自適應(yīng)計(jì)算助力智能安防快速升級(jí)”，主要包括以下四個(gè)部分：

自適應(yīng)計(jì)算改變世界

近年，隨著自動(dòng)駕駛和5G的興起，以及云計(jì)算和互聯(lián)網(wǎng)的發(fā)展，我們看到應(yīng)用市場(chǎng)正在經(jīng)歷著前所未有的需求變化。隨之而來(lái)也給前端的研發(fā)和產(chǎn)品設(shè)計(jì)工程師帶來(lái)了諸多問(wèn)題，比如不斷演進(jìn)的AI算法和模型、持續(xù)增長(zhǎng)的安全和保密需求以及不斷增加的傳感器類(lèi)型和傳感器接口等等。就目前來(lái)看，這些需求引領(lǐng)的創(chuàng)新周期已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)了一個(gè)芯片設(shè)計(jì)的周期。為了應(yīng)對(duì)這樣的變化，賽靈思根據(jù)實(shí)際情況，將產(chǎn)品的適應(yīng)性和靈活性作為主要發(fā)力點(diǎn)，也因此受到了越來(lái)越多人的關(guān)注。

以往在談及FPGA的時(shí)候，大家可能還非常地陌生；但是近幾年，隨著AI和大數(shù)據(jù)技術(shù)以及它們相關(guān)應(yīng)用的蓬勃發(fā)展，我們?cè)俅翁岬紽PGA的時(shí)候，相信很多人已經(jīng)有了一個(gè)粗淺概念。雖然在真正的工作中大家不一定會(huì)接觸并用到它，但是在特定領(lǐng)域進(jìn)行數(shù)據(jù)處理時(shí)，它將是一個(gè)非常重要的芯片，因?yàn)镕PGA帶來(lái)的正是這種強(qiáng)大的應(yīng)對(duì)變化的能力。與此對(duì)應(yīng)地，賽靈思的企業(yè)愿景也正是致力于打造靈活應(yīng)變、萬(wàn)物智能的世界。因此，我首先與大家分享的是賽靈思如何通過(guò)賦能創(chuàng)新來(lái)幫助人們實(shí)現(xiàn)健康守護(hù)、實(shí)現(xiàn)高品質(zhì)的生活和探索宇宙的夢(mèng)想。

在當(dāng)下席卷全球的新冠疫情中，賽靈思始終優(yōu)先來(lái)支持全球客戶進(jìn)行醫(yī)療設(shè)備的研發(fā)和生產(chǎn)。早在2020年1月，在武漢疫情最為嚴(yán)重的時(shí)期，賽靈思就開(kāi)始支持邁瑞來(lái)開(kāi)展病患智能轉(zhuǎn)運(yùn)監(jiān)護(hù)儀的大規(guī)模生產(chǎn)。在整個(gè)過(guò)程中，賽靈思投入了大量的物流和技術(shù)支持來(lái)幫助儀器的研發(fā)和投產(chǎn)，為醫(yī)護(hù)人員提供了更便捷、更高效的監(jiān)護(hù)設(shè)備，也為病患提供了生命保障。在醫(yī)療領(lǐng)域，很多耳熟能詳?shù)钠髽I(yè)包括外資的GE、飛利浦、西門(mén)子以及國(guó)內(nèi)的邁瑞、開(kāi)立，聯(lián)影等企業(yè)都是賽靈思的客戶。

在汽車(chē)領(lǐng)域，賽靈思正在幫助全球很多合作伙伴不斷地提高多傳感器的數(shù)據(jù)處理能力，從而改善車(chē)輛的感知，提高車(chē)輛在道路行駛中的快速?zèng)Q策能力。截止到目前，賽靈思在全球汽車(chē)市場(chǎng)累計(jì)出貨量已經(jīng)達(dá)到了2億顆芯片，其中1/3用于自動(dòng)駕駛相關(guān)場(chǎng)景。從去年7月開(kāi)始，國(guó)際社會(huì)掀起了新一輪星際探測(cè)熱潮。中國(guó)、美國(guó)、阿聯(lián)酋都分別向火星發(fā)射了太空探測(cè)器。而賽靈思也在其中發(fā)揮了非常重要的作用——它為毅力號(hào)火星車(chē)提供了核心的器件。毅力號(hào)火星車(chē)在火星表面的著陸導(dǎo)航、自動(dòng)駕駛以及相關(guān)的加速成像和掃描等任務(wù)，都是通過(guò)賽靈思的一些航空航天器件來(lái)實(shí)現(xiàn)的。

因?yàn)楠?dú)特的靈活性和適應(yīng)性使得賽靈思能夠服務(wù)來(lái)自全球60多個(gè)國(guó)家，超過(guò)60000+客戶來(lái)進(jìn)行云端到邊緣側(cè)的應(yīng)用部署。除了剛剛介紹的航空航天、汽車(chē)和醫(yī)療方面之外，賽靈思也賦能了其它領(lǐng)域。比如，在音視頻廣播方向，我們會(huì)去做一些與視頻編解碼以及信號(hào)質(zhì)量增強(qiáng)相關(guān)的任務(wù)；我們?cè)诖鎯?chǔ)和網(wǎng)絡(luò)加速方面也有著非常優(yōu)異的表現(xiàn)，因?yàn)楝F(xiàn)在數(shù)據(jù)中心里大量的異構(gòu)計(jì)算高性能平臺(tái)都離不開(kāi)FPGA；在工業(yè)和視覺(jué)方向，原來(lái)FPGA主要做一些工業(yè)控制，但現(xiàn)在已經(jīng)融入到機(jī)器視覺(jué)與機(jī)器人的相關(guān)應(yīng)用中去；通信領(lǐng)域，不管是在有線還是無(wú)線場(chǎng)景里，我們都會(huì)用到FPGA來(lái)做一些與信號(hào)處理和協(xié)議棧處理的相關(guān)任務(wù)。

為了更好地向我們的用戶提供自適應(yīng)提升的能力，賽靈思這些年里一直在不斷地加速轉(zhuǎn)型。從1985年我們發(fā)明了FPGA開(kāi)始，賽靈思不斷延續(xù)FPGA的核心價(jià)值，把它打造成了可以滿足各種應(yīng)用需求的片上系統(tǒng)。比如隨著28納米和16納米制程的演進(jìn)，我們不斷推出了MPSoC、RFSoC，以及最新的7納米制程上的ACAP平臺(tái)。通過(guò)不斷努力，賽靈思研發(fā)出了更易于軟件編程的體系結(jié)構(gòu)，同時(shí)也為客戶提供了一些更為廣泛的部署方式。在傳統(tǒng)場(chǎng)景里，客戶采用賽靈思器件時(shí)都是把芯片集成到自己的系統(tǒng)里去。而從18年開(kāi)始，我們不斷推出了像Alveo或是Kria SOM這種即插即用的加速卡和系統(tǒng)級(jí)模組，使得大家能夠直接從系統(tǒng)級(jí)開(kāi)發(fā)去做相關(guān)應(yīng)用。此外，我們很多合作伙伴如阿里巴巴、AWS、Nimbix等云服務(wù)商會(huì)把FPGA作為一個(gè)云端服務(wù)提供給大家，即FaaS這樣的服務(wù)，從而使得更多的客戶能夠更輕松地訪問(wèn)到這些靈活易用的資源。

在AI領(lǐng)域，賽靈思自適應(yīng)計(jì)算平臺(tái)所具有的domain specific architecture（特定領(lǐng)域架構(gòu)）可以滿足AI創(chuàng)新在速度方面的要求。目前，很多AI最新的神經(jīng)網(wǎng)絡(luò)正在日益涌現(xiàn)，那么，怎么樣能夠讓硬件處理平臺(tái)有效地加速最新的神經(jīng)網(wǎng)絡(luò)成為了一個(gè)很大的挑戰(zhàn)。賽靈思的MPSoC平臺(tái)可以妥善解決上述問(wèn)題，它最大的優(yōu)勢(shì)是具備整體應(yīng)用的協(xié)同優(yōu)化能力。很多前端研發(fā)人員以及產(chǎn)品開(kāi)發(fā)人員在實(shí)際應(yīng)用中都非常清楚地了解，在一個(gè)真實(shí)的智能器件或是解決方案里，我們除了需要做AI推理的任務(wù)外，還有大量的前處理和后處理工作，其中又包含了大量的數(shù)據(jù)交互和計(jì)算工作。如果通過(guò)板級(jí)的交互來(lái)進(jìn)行數(shù)據(jù)和數(shù)據(jù)之間的互通，這很容易導(dǎo)致一些系統(tǒng)級(jí)的性能瓶頸。因此，賽靈思把這些關(guān)鍵功能進(jìn)行硬件底層的優(yōu)化加速，再把它緊緊耦合在一個(gè)單芯片的方案中。這不僅能夠極大地提升整個(gè)系統(tǒng)的工作效率，并且降低了端到端的時(shí)延和整體的系統(tǒng)功耗。

智能安防解決方案關(guān)鍵能力及案例

根據(jù)自己的理解，我將廣泛的智能安防場(chǎng)景分為三類(lèi)：第一個(gè)類(lèi)是我們?cè)诔鞘欣锬軌蛞?jiàn)到的與安防相關(guān)的一些解決方案或系統(tǒng)，比如我們非常熟悉的面向公安、交通、消防以及其它的政府應(yīng)急指揮部門(mén)為公共服務(wù)而建設(shè)的監(jiān)控系統(tǒng)。我們可以看到，所有的這種系統(tǒng)都有自己相互獨(dú)立的一套基礎(chǔ)設(shè)施和網(wǎng)絡(luò)，以保證它們?cè)谝恍┓浅ｊP(guān)鍵的時(shí)間對(duì)關(guān)鍵信息的調(diào)用和留存。比如，我們?cè)诘缆飞辖?jīng)常見(jiàn)到的燈桿上的一排攝像頭就可能歸屬于不同的公共體系；樓宇和園區(qū)這類(lèi)公共場(chǎng)所也有與人員和場(chǎng)所運(yùn)營(yíng)服務(wù)相關(guān)的一些智能化系統(tǒng)。而這些系統(tǒng)里其實(shí)都分布著大量的攝像頭。其中，有的是傳統(tǒng)的模擬攝像頭，部署得比較早，數(shù)量比較多；有的是數(shù)字?jǐn)z像頭；有的則是近幾年最新建設(shè)的具有一些智能功能的智能攝像頭。而所有的攝像頭在這樣的安防系統(tǒng)里都充當(dāng)著一個(gè)信息采集員的角色。但是，如果所有的采集員都將本地采集到的信息上傳到云端或是存儲(chǔ)端，就會(huì)帶來(lái)非常大的數(shù)據(jù)傳輸壓力和存儲(chǔ)壓力。所以我們現(xiàn)在廣為采用的解決方案是先在前端把信息進(jìn)行預(yù)處理，再把提取到的關(guān)鍵信息比如一些結(jié)構(gòu)化數(shù)據(jù)傳輸?shù)皆贫?，最后進(jìn)行存儲(chǔ)或是分析、決策等等，以支持智慧城市這樣一個(gè)非常大的體系的正常運(yùn)轉(zhuǎn)。因此，我們?cè)谶吘墏?cè)就需要引入大量的智能處理能力。

而在行業(yè)級(jí)場(chǎng)景里，我們關(guān)注更多的是電力、能源，礦產(chǎn)這些相關(guān)行業(yè)。這些行業(yè)更加注重安防，因?yàn)檫@些行業(yè)場(chǎng)景里普遍存在著危險(xiǎn)因素，而且這些場(chǎng)景里的工作環(huán)境可能也比較惡劣，因此，對(duì)于我們解決方案的要求級(jí)別也非常高。比如，油井礦井生產(chǎn)系統(tǒng)的監(jiān)控光線和本身的工作環(huán)境都很差；一些電網(wǎng)自動(dòng)巡檢系統(tǒng)可能對(duì)我們的安防解決方案也有一些差異化的要求。

最后是消費(fèi)級(jí)場(chǎng)景。目前應(yīng)用最多的場(chǎng)景是人臉等生物特征識(shí)別的門(mén)鎖，其次是一些用來(lái)防范異常入侵和監(jiān)控老人小孩行為的小型家用攝像頭，以及家里水煤電氣的異常情況告警系統(tǒng)。

智能視覺(jué)方案常見(jiàn)處理流程

我們不難發(fā)現(xiàn)，無(wú)論是汽車(chē)的前視攝像頭還是安防的IP camera，甚至是特殊場(chǎng)景里特殊用途定制的智能攝像頭，它的基本處理流程都是相似的。首先，要有前端的圖像獲取模塊，以及對(duì)圖像進(jìn)行處理的模塊，比如前處理和后處理；接下來(lái)會(huì)進(jìn)入到與AI相關(guān)的推理模塊，比如做一些檢測(cè)、分類(lèi)、分割等等，也會(huì)基于AI檢測(cè)的結(jié)果去做相應(yīng)的決策；同時(shí)，基于我們方案的需求，對(duì)它進(jìn)行顯示或者編碼傳輸。這種流程其實(shí)是我們現(xiàn)在在主流的視覺(jué)方案里比較常見(jiàn)的一種流程。

基于上述流程，賽靈思為這類(lèi)應(yīng)用提供了一個(gè)全流程的應(yīng)用加速庫(kù)。比如，在視頻獲取、后處理以及顯示環(huán)節(jié)，我們的加速庫(kù)提供了豐富的接口IP，包括了大家常見(jiàn)的MIPI、HDMI、USB、SDI、DP等接口。這些非常豐富的接口IP庫(kù)能夠支持設(shè)備之間的互聯(lián)互通。同時(shí)，我們也給大家提供了視頻相關(guān)的編解碼處理能力，并且，在視頻的后處理和顯示方面也提供了VCU，實(shí)現(xiàn)視頻流的編解碼功能。

了解了視頻圖像的獲取以及后處理環(huán)節(jié)之后，我們來(lái)看看它的一些核心功能。一部分核心功能其實(shí)就是與視覺(jué)相關(guān)的library，就是我們剛剛略過(guò)的視頻前處理和后處理里的內(nèi)容。為什么要略過(guò)呢？因?yàn)槲液竺鏁?huì)做更詳細(xì)的深入分析，現(xiàn)在我們先把它放一下。除此之外，另外一個(gè)重要的功能是用來(lái)做AI加速的一個(gè)DPU的核。這個(gè)DPU叫做deep learning process unit，是我們專(zhuān)門(mén)為大量的卷積網(wǎng)絡(luò)運(yùn)算提供的一個(gè)從底層硬件層面做好并加速的IP核。我們?cè)谶@個(gè)核里已經(jīng)對(duì)現(xiàn)在主流的一些神經(jīng)網(wǎng)絡(luò)框架比如Caffe、TensorFlow、PyTorch等都做好了底層的優(yōu)化。我們大概有100多個(gè)優(yōu)化好的網(wǎng)絡(luò)正在GitHub上做開(kāi)源，大家可以結(jié)合自己應(yīng)用需求，對(duì)它進(jìn)行重訓(xùn)和部署。在這里，我們也針對(duì)不同資源的器件給大家提供了8個(gè)不同大小型號(hào)的IP核——從512的到4096的，就是我們能夠用到的在FPGA上的邏輯資源。大小不一樣，提供的IP核也不一樣。綜上所述，我們做AI加速的核心之一就是DPU的這樣的一個(gè)加速I(mǎi)P。

下面來(lái)看圖像處理環(huán)節(jié)，因?yàn)檫@個(gè)環(huán)節(jié)往往更能體現(xiàn)FPGA的靈活性和方案的差異性。首先，我們來(lái)看前處理。前處理主要包含兩大塊任務(wù)：一個(gè)是ISP，一個(gè)是與AI相關(guān)的一些任務(wù)的前處理。我們先來(lái)看ISP環(huán)節(jié)。前端的sensor會(huì)將光信號(hào)變?yōu)殡娦盘?hào)，這時(shí)我們會(huì)得到一種貝爾模式的數(shù)據(jù)，然后，我們需要把這個(gè)數(shù)據(jù)重建為肉眼可見(jiàn)的RGB格式圖像，并且對(duì)這個(gè)圖像進(jìn)行一系列的處理，以得到能夠滿足應(yīng)用要求的一個(gè)圖像。我們熟知的比如華為海思、RK、安霸等企業(yè)的安防解決方案里主要采用的SoC，通常是已經(jīng)具備了一些標(biāo)準(zhǔn)的ISP功能，比如把貝爾格式變成RGB格式、做降噪、做自動(dòng)曝光、做白平衡、做聚焦、以及做色彩校正等等。但是，需要強(qiáng)調(diào)的是一些特定的需求。比如，當(dāng)我們需要做黑光相機(jī)或者高速相機(jī)等這類(lèi)在特定場(chǎng)景里有特定用途的差異化非常大、要求非常高的相機(jī)的時(shí)候，我們對(duì)ISP就會(huì)有更高的要求，就需要有更靈活的架構(gòu)來(lái)對(duì)ISP進(jìn)行定制。

在機(jī)器學(xué)習(xí)模型訓(xùn)練過(guò)程中，我們對(duì)于輸入數(shù)據(jù)會(huì)做一些特別的定義，比如說(shuō)數(shù)據(jù)格式是什么樣的，RGB還是YUV？它的分辨率是怎么樣的？它的比特位寬是什么樣的？同時(shí)還有一些做正則化的要求。對(duì)于這些任務(wù)，賽靈思提供了經(jīng)過(guò)底層硬件層面加速的庫(kù)來(lái)滿足大家的個(gè)性化需求。在后處理環(huán)節(jié)，我們剛剛著重介紹了我們是采用DPU的IP核來(lái)做神經(jīng)網(wǎng)絡(luò)加速的，但是實(shí)際上在真實(shí)的任務(wù)中，除了用到這種神經(jīng)網(wǎng)絡(luò)加速之外，我們還會(huì)用到比如3D視覺(jué)、虛擬增強(qiáng)現(xiàn)實(shí)、路徑規(guī)劃、行為估計(jì)以及環(huán)視攝像頭的拼接和處理等等的一些計(jì)算機(jī)視覺(jué)方案。在這些方案里，大家用到的不僅僅是這種卷積加速還有其它的一些運(yùn)算方式，所以，我們往往會(huì)采用AI和CV混合的方案來(lái)解決實(shí)際的問(wèn)題?？偟膩?lái)說(shuō)，針對(duì)這樣的需求，除了DPU的能力之外，我們同樣提供了一個(gè)經(jīng)過(guò)硬件加速的CV Library來(lái)實(shí)現(xiàn)差異化的方案。這也是我們與傳統(tǒng)安防芯片功能不一樣的地方。

這是一款基于賽靈思MPSoC平臺(tái)開(kāi)發(fā)的智能相機(jī)。它采用了ZU4芯片。大家可以看到，這個(gè)方案具有非常豐富的物理接口以及非常強(qiáng)大的圖像處理能力和AI能力。典型的接口就是我們所熟知的Mini DP、USB等接口。其中還提供了各種內(nèi)存方案，比如eMMC、DDR，內(nèi)置了一個(gè)視頻編解碼的內(nèi)核，可以實(shí)現(xiàn)4K60幀的實(shí)時(shí)編解碼能力。這款相機(jī)前面的感光和ISP是由我們的合作伙伴安森美開(kāi)發(fā)的。整體來(lái)看，這款智能相機(jī)支持120幀的高清成像。從這個(gè)智能相機(jī)智能的角度來(lái)講，它具有超低延遲的特性。其實(shí)這個(gè)方案在FPGA內(nèi)是用了我們硬化的視頻編解碼的一個(gè)內(nèi)核去做的圖像編碼，所以，它在編碼的同時(shí)在并行做著一個(gè)任務(wù)。是什么呢？就是一些與AI相關(guān)的處理流程，包括MIPI接口進(jìn)來(lái)后的協(xié)議處理、resize前處理、目標(biāo)detection、結(jié)果輸出。在整個(gè)過(guò)程中，因?yàn)锳I和視頻編碼是并行發(fā)生的，所以在每一幀，從圖像獲取到編碼的整個(gè)流程需要70毫秒，但是我們的AI處理能力只用到40毫秒。所以，在這個(gè)方案里，我們整體的輸出并沒(méi)有因?yàn)樽鯝I分析而被延長(zhǎng)。我剛剛提到這款智能相機(jī)的解決方案是用了一顆ZU4的芯片，與之匹配的是我們B3136的一顆DPU的內(nèi)核。它可以做到的實(shí)時(shí)處理能力是200幀每秒，但是在前端很多應(yīng)用場(chǎng)景里我們其實(shí)用不到200幀，所以，我們就可以把它作為一個(gè)邊緣計(jì)算盒子來(lái)做多路視頻，比如可以做4路視頻的實(shí)時(shí)處理和分析。

Kria SOM智能視覺(jué)開(kāi)發(fā)平臺(tái)介紹

這個(gè)SOM也是基于MPSoC架構(gòu)的，剛剛提到的案例采用的是ZU4芯片，而這個(gè)SOM采用的是ZU5芯片——它的資源更豐富些。首先來(lái)給大家解釋為什么我們要做這樣一款模組。雖然這些年來(lái)賽靈思一直致力于不斷研發(fā)最新的靈活應(yīng)變的硬件架構(gòu)來(lái)實(shí)現(xiàn)賦能創(chuàng)新，但是我們客戶在使用賽靈思器件的時(shí)候確實(shí)還是存在一些從底層向上開(kāi)發(fā)的不便。以前，客戶們需要將芯片集成到自己的系統(tǒng)中。這其中包含了大量的系統(tǒng)集成工作，而且還要去設(shè)計(jì)板子和做代工，等把這個(gè)板子調(diào)好之后才能在上面做應(yīng)用開(kāi)發(fā)。所以，為了把這個(gè)創(chuàng)新流程縮短，讓大家能夠采用相對(duì)標(biāo)準(zhǔn)化的平臺(tái)來(lái)把靈活應(yīng)變能力擴(kuò)展到更廣泛的應(yīng)用里，我們一直在試圖尋找一種更為友好的部署方式。在18年，我們推出了一個(gè)在數(shù)據(jù)中心側(cè)可以即插即用的Alveo系列的加速卡。過(guò)去幾年里，我們的Alveo卡在金融、安全、高性能計(jì)算等等領(lǐng)域得到了非常好的應(yīng)用，并且發(fā)揮了非常重要的作用。于是，出于同樣的構(gòu)想，我們今年推出了一個(gè)在edge端也能夠即插即用的最小化的系統(tǒng)級(jí)模組，希望能夠在edge端支持更為廣泛的應(yīng)用需求，尤其是智能視覺(jué)方面的一些創(chuàng)新需求。

第二個(gè)原因是，賽靈思這些年在開(kāi)發(fā)工具上也做了很多投入。為了讓我們的軟件和應(yīng)用開(kāi)發(fā)人員能夠很容易地上手我們的自適應(yīng)計(jì)算平臺(tái)，而不用從最底層的RTL層面去做開(kāi)發(fā)，我們推出了這款標(biāo)準(zhǔn)化的硬件平臺(tái)，希望大家可以在這個(gè)標(biāo)準(zhǔn)化硬件平臺(tái)上去做標(biāo)準(zhǔn)化的軟件設(shè)計(jì)流程以及各類(lèi)已經(jīng)做好的加速應(yīng)用。當(dāng)然，這也是一個(gè)開(kāi)箱即用的平臺(tái)，成本非常低。能夠讓更多的人以非常低的成本在各類(lèi)應(yīng)用里感受到FPGA的這種靈活架構(gòu)是極具優(yōu)越性的。與此同時(shí)，這個(gè)平臺(tái)也是一個(gè)異構(gòu)平臺(tái)。它里面有四核ARM A53的應(yīng)用處理器、兩核R5的實(shí)時(shí)處理器、Mali的GPU、256K的邏輯單元?；谏厦孢@些資源去與我們的DPU B3136的一顆內(nèi)核做匹配的話，它最大能夠?qū)崿F(xiàn)1.4 TOPS每秒的AI處理能力。這是什么概念呢？這表示我們對(duì)一些主流的神經(jīng)網(wǎng)絡(luò)模型進(jìn)行相應(yīng)的優(yōu)化之后，基本上能夠做到實(shí)時(shí)或者準(zhǔn)實(shí)時(shí)的處理能力。在接口層面，這塊核心板提供了雙排240-Pin Connector，大家可以在上面去做一些非常豐富的擴(kuò)展。它最多可以支持15個(gè)camera，像常見(jiàn)接口的camera以及CMOS、CCD需求類(lèi)型的camera都能支持。此外，它最高支持?jǐn)U展到40G的Ethernet，也包括了多個(gè)USB接口以及具備4GB的DDR4 存儲(chǔ)能力。可以說(shuō)，我們所能想到的在邊緣側(cè)與AI推理相關(guān)的場(chǎng)景基本上都能夠滿足這樣的要求了。

這是一塊即插即用的系統(tǒng)級(jí)模組。我們?yōu)?a target="_blank">開(kāi)發(fā)者提供的這個(gè)入門(mén)級(jí)開(kāi)發(fā)套件可以讓沒(méi)有任何FPGA開(kāi)發(fā)經(jīng)驗(yàn)的開(kāi)發(fā)者在一小時(shí)之內(nèi)快速上手，讓一些與AI、智能相機(jī)、AI box等相關(guān)的應(yīng)用跑起來(lái)。怎么做到的呢？通過(guò)我們與賽靈思官方以及第三方合作伙伴一起合作開(kāi)發(fā)出了一些已經(jīng)做好加速的應(yīng)用：Accelerated Applications。這些應(yīng)用都被我們放在了賽靈思官方網(wǎng)站上的應(yīng)用商城里。應(yīng)用商城里有一個(gè)Kria SOM專(zhuān)區(qū)，大家可以在這里找到我們基于這一款標(biāo)準(zhǔn)化的硬件平臺(tái)打造的若干標(biāo)準(zhǔn)化的一些應(yīng)用，且這些應(yīng)用已經(jīng)經(jīng)過(guò)了加速優(yōu)化。另外，我們已經(jīng)通過(guò)overlay的方式把這些應(yīng)用進(jìn)行了封裝，大家不需要在底層做任何的調(diào)試和部署，就可以直接把這個(gè)應(yīng)用丟進(jìn)去，就會(huì)通過(guò)非常簡(jiǎn)單的命令行代碼讓它跑起來(lái)。我們的這塊板子就變成了一個(gè)智能相機(jī)或者是一個(gè)AI box。

其實(shí)，現(xiàn)在賽靈思原廠已經(jīng)做好了像smart camera這種model，它可以支持多種接口的輸入，具備多種前后處理功能以及最核心的AI推理能力，最終來(lái)對(duì)這個(gè)攝像頭做顯示或傳輸。對(duì)于以上所有功能，我們已經(jīng)在里面都封裝好了，只需要命令行語(yǔ)言去對(duì)它進(jìn)行調(diào)用即可。同時(shí)，這里面也帶有RelD功能的AI box和一些基于OpenCV的瑕疵檢測(cè)。我們的合作伙伴也對(duì)此做了非常多的貢獻(xiàn)。

其實(shí)，我們希望提供標(biāo)準(zhǔn)化的硬件和軟件開(kāi)發(fā)流程，讓更多人能夠把很多廣泛應(yīng)用需求做出來(lái)并且貢獻(xiàn)出來(lái)。一方面，我們的客戶會(huì)根據(jù)自己的需求快速評(píng)估這樣的應(yīng)用和器件，可能在這上面還會(huì)去做一些進(jìn)一步優(yōu)化的工作；另一方面，我們也希望極具創(chuàng)新能力的開(kāi)發(fā)伙伴能夠通過(guò)我們的官方平臺(tái)把自己做得非常好的一些加速應(yīng)用進(jìn)行對(duì)外發(fā)布和推廣。與此同時(shí)，我們也給大家提供了非常專(zhuān)業(yè)的數(shù)字版權(quán)證書(shū)的認(rèn)證和保護(hù)服務(wù)。通過(guò)這項(xiàng)服務(wù)，我們既可以保證大家的知識(shí)產(chǎn)權(quán)，也可以幫助大家在這個(gè)過(guò)程中通過(guò)各種各樣的方式比如使用時(shí)長(zhǎng)或是license等來(lái)幫助大家把自己做好且加速的應(yīng)用商業(yè)化。

為了這樣一個(gè)標(biāo)準(zhǔn)化的硬件平臺(tái)，我們推出了標(biāo)準(zhǔn)化的軟件開(kāi)發(fā)流程。首先，作為一個(gè)邊緣側(cè)的智能視覺(jué)加速的平臺(tái)，它可以支持基于yocto的Petalinux也可以支持ubuntu，極大地滿足了嵌入式開(kāi)發(fā)工程師的需求。同時(shí)，通過(guò)這個(gè)統(tǒng)一的開(kāi)發(fā)工具和平臺(tái)，我們的VITIS及VITIS AI可以為不同類(lèi)型的開(kāi)發(fā)者提供最適合的開(kāi)發(fā)工具以及開(kāi)發(fā)流程。

對(duì)于AI開(kāi)發(fā)者而言，他可以完全不去顧及AI開(kāi)發(fā)之外的所有其它流程，只用VITIS AI來(lái)定制化自己的神經(jīng)網(wǎng)絡(luò)模型的加速即可。其中，DPU實(shí)現(xiàn)了我們所需要的大部分主流神經(jīng)網(wǎng)絡(luò)框架的底層加速，所以，開(kāi)發(fā)者只需要根據(jù)自己客制化的AI模型和DPU進(jìn)行相應(yīng)匹配，然后去做相應(yīng)的參數(shù)設(shè)置、型號(hào)匹配、模型優(yōu)化等流程，就可以得到一個(gè)能夠用于部署的網(wǎng)絡(luò)模型。因此，我們只需要去做神經(jīng)網(wǎng)絡(luò)相關(guān)的替換工作即可，這極大地降低了AI開(kāi)發(fā)者使用MPSoC門(mén)檻。

對(duì)于軟件開(kāi)發(fā)者而言，VITIS開(kāi)放了大量的經(jīng)過(guò)優(yōu)化的軟件加速庫(kù)，軟件開(kāi)發(fā)者只需要使用像C、C++、Open CL這種熟悉的開(kāi)發(fā)語(yǔ)言以及開(kāi)發(fā)環(huán)境來(lái)調(diào)用這些庫(kù)即可。除了DPU部分之外，我們就可以對(duì)它的前處理、后處理以及與它的視頻加速流水線相關(guān)的一些應(yīng)用做進(jìn)一步的定制化加速，從而得到高性能低延遲的一個(gè)視頻流解決方案。

對(duì)于硬件開(kāi)發(fā)者而言，不管是使用VITIS還是使用VIVADO開(kāi)發(fā)工具都可以更充分地發(fā)揮出FPGA架構(gòu)的靈活性以及我們整個(gè)片上系統(tǒng)的完備性。我們可以基于RTL的設(shè)計(jì)有針對(duì)性地對(duì)應(yīng)用的全流程進(jìn)行優(yōu)化。

賽靈思開(kāi)發(fā)者計(jì)劃

賽靈思開(kāi)發(fā)者計(jì)劃是一個(gè)面向全球硬件工程師、軟件工程師、算法工程師、系統(tǒng)工程師、學(xué)者、科研人員和學(xué)生推出的專(zhuān)項(xiàng)服務(wù)計(jì)劃。為了更好地完善賽靈思的生態(tài)，我們希望能夠引入一些最具突破性構(gòu)想的創(chuàng)新者和變革推動(dòng)者，賦能他們更便捷、更高效、更全面的自適應(yīng)計(jì)算服務(wù)，從而加速創(chuàng)新的發(fā)生。為此，我們打通了賽靈思內(nèi)部和外部很多資源，為大家提供了包括課程學(xué)習(xí)、項(xiàng)目開(kāi)發(fā)、交流分享等內(nèi)容的一個(gè)自循環(huán)的小生態(tài)體系。在這個(gè)體系里，大家可以通過(guò)更多的途徑得到一些官方技術(shù)文檔教程、參加免費(fèi)培訓(xùn)、賽靈思的人才認(rèn)證計(jì)劃等。在這個(gè)過(guò)程中，我們也通過(guò)給大家提供免費(fèi)的license和免費(fèi)的硬件來(lái)鼓勵(lì)大家去做開(kāi)發(fā)嘗試；同時(shí)，也通過(guò)我們的月度項(xiàng)目以及自適應(yīng)計(jì)算挑戰(zhàn)賽來(lái)去激勵(lì)大家做更多的自適應(yīng)計(jì)算方面的項(xiàng)目開(kāi)發(fā)嘗試。此外，我們也打造了豐富的線上線下活動(dòng)與大家進(jìn)行交流分享。線上，我們有社區(qū)、應(yīng)用商城、開(kāi)發(fā)者網(wǎng)站，所以不管是在個(gè)人層面還是企業(yè)小型創(chuàng)業(yè)項(xiàng)目層面，我們都給大家提供了一個(gè)全方位交流分享的機(jī)會(huì)；同時(shí)，也為大家量身定制了很多線下專(zhuān)屬活動(dòng)。

今天也借這個(gè)機(jī)會(huì)跟大家做一個(gè)小征集。一個(gè)是征集一些月度項(xiàng)目。如果大家有在賽靈思平臺(tái)上做出來(lái)的比較好的作品，我們希望能夠把這些作品征集過(guò)來(lái)，然后通過(guò)我們官方平臺(tái)進(jìn)行展示；同時(shí)，也會(huì)通過(guò)我們的一些技術(shù)專(zhuān)家資源幫助大家進(jìn)行進(jìn)一步的優(yōu)化，并通過(guò)我們的市場(chǎng)資源把它推向市場(chǎng)。所以，我們希望大家把自己做好的這些作品，比如一個(gè)早期的小demo，發(fā)布到開(kāi)源的平臺(tái)上去，然后把這個(gè)demo視頻傳到第三方網(wǎng)站比如B站、優(yōu)酷視頻等等網(wǎng)站上。之后，你只要把這兩個(gè)鏈接發(fā)給賽靈思開(kāi)發(fā)者計(jì)劃的郵箱即可，我們就會(huì)和你在線下做進(jìn)一步的溝通和交流。另外，我們希望征集更多的開(kāi)發(fā)者計(jì)劃的志愿者幫助我們服務(wù)更廣泛的開(kāi)發(fā)者群體。如果你是一個(gè)互聯(lián)網(wǎng)意見(jiàn)領(lǐng)袖，或者你在做自己的科技類(lèi)自媒體，或者你是一個(gè)資深的FPGA發(fā)燒友，或者你是高校里科技相關(guān)社團(tuán)的非?；钴S的小伙伴，我們非常歡迎你的加入。我們希望這樣的人能夠把自己周邊非?；钴S的技術(shù)交流圈子介紹給我們，讓我們?cè)谄渲型度胂鄳?yīng)的市場(chǎng)資源，量身打造一些專(zhuān)屬活動(dòng)，從而為更廣泛的開(kāi)發(fā)者朋友們提供更好的服務(wù)。所以，關(guān)于以上兩點(diǎn)，大家有什么想法都可以聯(lián)系我們。

以上就是我今天分享的內(nèi)容。謝謝大家。
? ? ? 責(zé)任編輯:tzh