DeepStream工作原理及功能特點(diǎn)分析

2023年8月11日下午5點(diǎn)，APM部門(mén)于科創(chuàng)園二樓會(huì)議室舉辦了此次的技術(shù)分享會(huì)——DeepStream介紹。此次會(huì)議邀請(qǐng)實(shí)習(xí)生陶強(qiáng)民作為分享人，向大家介紹分享了DeepStream。此次會(huì)議主要分為內(nèi)容分享環(huán)節(jié)和問(wèn)題討論環(huán)節(jié)，在內(nèi)容分享環(huán)節(jié)中，陶同學(xué)主要圍繞著SDK深度學(xué)習(xí)軟件棧、DeepStream 工作原理、DeepStream SDK目錄結(jié)構(gòu)、DeepStream 功能特點(diǎn)四個(gè)部分進(jìn)行分享。在后續(xù)的問(wèn)題討論環(huán)節(jié)中，大家也就一些問(wèn)題展開(kāi)了激烈的討論。

01

英偉達(dá)深度學(xué)習(xí)軟件棧 ? ?

在這部分的分享中，陶同學(xué)提出，“開(kāi)發(fā)是條艱難的路??！”在這條路上，困難重重。面對(duì)多種應(yīng)用場(chǎng)景，我們需要選擇訓(xùn)練框架，進(jìn)行模型結(jié)構(gòu)設(shè)計(jì)，同時(shí)還需要面對(duì)數(shù)據(jù)集不夠大、算法性能不夠優(yōu)、跨平臺(tái)部署不夠方便等問(wèn)題。為了更好的適應(yīng)開(kāi)發(fā)任務(wù)，提高工作效率，開(kāi)發(fā)出更高質(zhì)量的應(yīng)用程序，一個(gè)良好的開(kāi)發(fā)工具是必不可少的。接下來(lái)的分享，陶同學(xué)向大家介紹了SDK的基本情況和使用方法。

02

DeepStream 工作原理

第二部分的分享中，陶同學(xué)首先介紹了常規(guī)視頻流處理過(guò)程，即數(shù)據(jù)收集----預(yù)處理----模型推理----后處理---- 結(jié)果可視化。隨后，又為大家分享了DeepStream 的工作流程以及結(jié)構(gòu)。

03

DeepStream SDK

目錄結(jié)構(gòu)

在這一部分，陶同學(xué)分享了一個(gè)Jetson平臺(tái)的DeepStream6.0.1下的一個(gè)版本目錄，列舉了幾個(gè)核心的部分并舉例說(shuō)明了示例文件,并介紹了SDK結(jié)構(gòu)中的一些插件。最后在實(shí)例介紹部分介紹了上述插件的作用，并分享了參考資源。

04

DeepStream 功能特點(diǎn)

在這個(gè)部分，陶強(qiáng)民同學(xué)向大家介紹了DeepStream 功能特點(diǎn)：

（1）卓越的性能，在多個(gè)硬件上運(yùn)行都有不俗的結(jié)果；??

（2）多編程選項(xiàng)，可以選擇不同語(yǔ)言，甚至可以直接使用可視化工具實(shí)現(xiàn)我們的部署；

（3）云原生支持，在嵌入式中構(gòu)建Docker容器實(shí)現(xiàn)功能應(yīng)用；

（4）端到端部署，支持豐富的模型，快速適配不同的應(yīng)用場(chǎng)景；

（5）豐富實(shí)例，提供了豐富多樣的功能實(shí)例；

（6）圖像編輯器Graph Compose。

05

問(wèn)題討論環(huán)節(jié)

Q：我如何在應(yīng)用程序中獲取分析結(jié)果？

A：DeepStream允許您通過(guò)API獲取分析結(jié)果。您可以在代碼中編程處理分析結(jié)果，例如獲取檢測(cè)到的對(duì)象的位置、類別、置信度等信息。您還可以根據(jù)需要在視頻中繪制邊界框、標(biāo)簽等，以便可視化分析結(jié)果。

Q：DeepStream如何處理視頻流中的物體跟蹤？

A：在DeepStream中，物體跟蹤通常涉及使用目標(biāo)檢測(cè)模型來(lái)檢測(cè)視頻流中的物體，然后使用相關(guān)算法來(lái)跟蹤這些物體。跟蹤算法可以是基于卡爾曼濾波、SORT（Simple Online and Realtime Tracking）等。DeepStream提供了跟蹤器接口，您可以將適合您需求的跟蹤算法集成到應(yīng)用程序中。

Q：我可以在DeepStream中使用哪些預(yù)訓(xùn)練模型？

A：DeepStream支持多種深度學(xué)習(xí)框架的預(yù)訓(xùn)練模型，如TensorFlow、PyTorch等。您可以選擇適合您任務(wù)的預(yù)訓(xùn)練模型，也可以根據(jù)需要進(jìn)行微調(diào)。

END

此次會(huì)議在大家的熱烈討論中圓滿結(jié)束。相信大家一定在本次會(huì)議中汲取到了很多關(guān)于DeepStream的知識(shí)，也希望大家在會(huì)后多多學(xué)習(xí)，多多討論，以增加對(duì)它的了解，為日后的工作打下堅(jiān)實(shí)的基礎(chǔ)。

會(huì)議的順利舉辦也離不開(kāi)暢行學(xué)堂這個(gè)平臺(tái)的依托，在此次會(huì)議之后，暢行學(xué)堂還將為大家舉辦更多的技術(shù)分享會(huì)，不斷為了大家技術(shù)能力的增長(zhǎng)做出貢獻(xiàn)，以期實(shí)現(xiàn)公司、學(xué)堂、每位員工的共同進(jìn)步、成長(zhǎng)與突破。

編輯：黃飛