如何入門面向自動駕駛領(lǐng)域的視覺Transformer？

視覺感知算法的核心在于精準實時地感知周圍環(huán)境，以便下游更好地進行決策規(guī)劃，而目標檢測任務就是視覺感知的基礎(chǔ)。不僅在自動駕駛領(lǐng)域，在機器人導航、工業(yè)檢測、視頻監(jiān)控等領(lǐng)域，目標檢測都有著廣泛應用，也是近年來理論研究的熱點。作為計算機視覺中的基礎(chǔ)算法，目標檢測對后續(xù)的人臉識別、目標跟蹤、實例分割等任務都起著至關(guān)重要的作用。

基于深度學習的卷積學習網(wǎng)絡（CNN）在目標檢測任務上取得了優(yōu)越的性能，例如FasterRCNN、YOLO系列、CenterNet等等，也在實際應用中實現(xiàn)了成功部署和使用。自Transformer在2017年被提出之后，無論是自然語言處理領(lǐng)域，還是計算機視覺 (CV)、強化學習 (RL)、生成對抗網(wǎng)絡 (GAN)、語音處理甚至是生物學領(lǐng)域，Transformer都大放異彩。而在目標檢測領(lǐng)域中，視覺Transformer不僅可以實現(xiàn)2D檢測、3D檢測，還可以實現(xiàn)多模態(tài)檢測，BEV視角下的檢測，性能也非常出色。 因此，掌握Transformer相關(guān)知識和工程基礎(chǔ)成為了企業(yè)招聘算法工程師的一個技能要求點，也是簡歷上的一個加分項。

然而，想要掌握基于Transformer的目標檢測算法，有以下3個難點：

理解Transformer背后的理論基礎(chǔ)，比如自注意力機制（self-attention）, 位置編碼（positional embedding），目標查詢（object query）等等，網(wǎng)上的資料比較雜亂，不夠系統(tǒng)，難以通過自學做到深入理解并融會貫通。

掌握基于Transformer的目標檢測算法的思路和創(chuàng)新點，一些Transformer論文涉及的新概念比較多，話術(shù)沒有那么通俗易懂，讀完論文仍然不理解算法的細節(jié)部分。

Transformer代碼不易看懂，因為作用機制與CNN有不少差別，所以完全理解代碼并實踐應用需要花費很大功夫。

那么如何學習基于Tansformer的目標檢測算法呢？

課程「目標檢測中的視覺Transformer」正是幫助各位同學解決以上這些難點，不僅為大家詳細講解視覺Transformer的基礎(chǔ)知識，還有各種經(jīng)典的基于Transformer的目標檢測算法，還配有代碼解讀和實踐課程，讓大家真正活學活用，理解和掌握這些知識理論。

實踐部分