基于FPGA的嵌入式圖像處理系統(tǒng)設(shè)計

1. 看代碼，建模型

只有在腦海中建立了一個個邏輯模型，理解FPGA內(nèi)部邏輯結(jié)構(gòu)實現(xiàn)的基礎(chǔ)，才能明白為什么寫Verilog和寫C整體思路是不一樣的，才能理解順序執(zhí)行語言和并行執(zhí)行語言的設(shè)計方法上的差異。在看到一段簡單程序的時候應(yīng)該想到是什么樣的功能電路。

2. 用數(shù)學(xué)思維來簡化設(shè)計邏輯

學(xué)習(xí)FPGA不僅邏輯思維很重要，好的數(shù)學(xué)思維也能讓你的設(shè)計化繁為簡，所以啊，那些看見高數(shù)就頭疼的童鞋需要重視一下這門課哦。舉個簡單的例子，比如有兩個32bit的數(shù)據(jù)X［31:0］與Y［31:0］相乘。當(dāng)然，無論Altera還是Xilinx都有現(xiàn)成的乘法器IP核可以調(diào)用，這也是最簡單的方法，但是兩個32bit的乘法器將耗費大量的資源。那么有沒有節(jié)省資源，又不太復(fù)雜的方式來實現(xiàn)呢？我們可以稍做修改：

將X［31:0］拆成兩部分X1［15:0］和X2［15:0］，令X1［15:0］=X［31:16］，X2［15:0］=X［15:0］，則X1左移16位后與X2相加可以得到X；同樣將Y［31:0］拆成兩部分Y1［15:0］和Y2［15:0］，令 Y1［15:0］=Y［31:16］，Y2［15:0］=Y［15:0］，則Y1左移16位后與Y2相加可以得到Y(jié)，則X與Y的相乘可以轉(zhuǎn)化為X1和X2 分別與Y1和Y2相乘，這樣一個32bit*32bit的乘法運算轉(zhuǎn)換成了四個16bit*16bit的乘法運算和三個32bit的加法運算。轉(zhuǎn)換后的占用資源將會減少很多，有興趣的童鞋，不妨綜合一下看看，看看兩者差多少。

3. 時鐘與觸發(fā)器的關(guān)系

“時鐘是時序電路的控制者”這句話太經(jīng)典了，可以說是FPGA設(shè)計的圣言。FPGA的設(shè)計主要是以時序電路為主，因為組合邏輯電路再怎么復(fù)雜也變不出太多花樣，理解起來也不沒太多困難。但是時序電路就不同了，它的所有動作都是在時鐘一拍一拍的節(jié)奏下轉(zhuǎn)變觸發(fā)，可以說時鐘就是整個電路的控制者，控制不好，電路功能就會混亂。

打個比方，時鐘就相當(dāng)于人體的心臟，它每一次的跳動就是觸發(fā)一個 CLK，向身體的各個器官供血，維持著機體的正常運作，每一個器官體統(tǒng)正常工作少不了組織細胞的構(gòu)成，那么觸發(fā)器就可以比作基本單元組織細胞。

時序邏輯電路的時鐘是控制時序邏輯電路狀態(tài)轉(zhuǎn)換的“發(fā)動機”，沒有它時序邏輯電路就不能正常工作。因為時序邏輯電路主要是利用觸發(fā)器存儲電路的狀態(tài)，而觸發(fā)器狀態(tài)變換需要時鐘的上升或下降沿，由此可見時鐘在時序電路中的核心作用。

最后簡單說一下體會吧，歸結(jié)起來就是多實踐、多思考、多問。實踐出真知，看100遍別人的方案不如自己去實踐一下。實踐的動力一方面來自興趣，一方面來自壓力。有需求會容易形成壓力，也就是說最好能在實際的項目開發(fā)中鍛煉，而不是為了學(xué)習(xí)而學(xué)習(xí)。

為什么你會覺得FPGA難學(xué)？

1. 不熟悉FPGA的內(nèi)部結(jié)構(gòu)

FPGA為什么是可以編程的？恐怕很多初學(xué)者不知道，他們也不想知道。因為他們覺得這是無關(guān)緊要的。他們潛意識的認為可編程嘛，肯定就是像寫軟件一樣啦。軟件編程的思想根深蒂固，看到Verilog或者VHDL就像看到C語言或者其它軟件編程語言一樣。一條條的讀，一條條的分析。

拒絕去了解為什么FPGA是可以編程的，不去了解FPGA的內(nèi)部結(jié)構(gòu)，要想學(xué)會FPGA 恐怕是天方夜譚。那么FPGA為什么是可以“編程”的呢？首先來了解一下什么叫“程”。其實 “程”只不過是一堆具有一定含義的01編碼而已。

編程，其實就是編寫這些01編碼。只不過我們現(xiàn)在有了很多開發(fā)工具運算或者是其它操作。所以軟件是一條一條的，通常都不是直接編寫這些01編碼，而是以高級語言的形式來編寫，最后由開發(fā)工具轉(zhuǎn)換為這種01編碼而已。對于軟件編程而言，處理器會有一個專門的譯碼電路逐條把這些01編碼翻譯為各種控制信號，然后控制其內(nèi)部的電路完成一個個的讀，因為軟件的操作是一步一步完成的。

而FPGA的可編程，本質(zhì)也是依靠這些01編碼實現(xiàn)其功能的改變，但不同的是FPGA之所以可以完成不同的功能，不是依靠像軟件那樣將01編碼翻譯出來再去控制一個運算電路，F(xiàn)PGA里面沒有這些東西。

FPGA內(nèi)部主要三塊：可編程的邏輯單元、可編程的連線和可編程的IO模塊。

可編程的邏輯單元

其基本結(jié)構(gòu)某種存儲器（SRAM、 FLASH等）制成的4輸入或6輸入1輸出的“真值表”加上一個D觸發(fā)器構(gòu)成。任何一個4輸入1輸出組合邏輯電路，都有一張對應(yīng)的“真值表”，同樣的如果用這么一個存儲器制成的4輸入1輸出的“真值表”，只需要修改其“真值表”內(nèi)部值就可以等效出任意4輸入1輸出的組合邏輯，這些“真值表”內(nèi)部值就是那些01編碼。

如果要實現(xiàn)時序邏輯電路怎么辦？任何的時序邏輯都可以轉(zhuǎn)換為組合邏輯+D觸發(fā)器來完成。但這畢竟只實現(xiàn)了4輸入1輸出的邏輯電路而已，通常邏輯電路的規(guī)模那是相當(dāng)?shù)拇蟆?/p>

可編程連線

那怎么辦呢？這個時候就需要用到可編程連線了。在這些連線上有很多用存儲器控制的鏈接點，通過改寫對應(yīng)存儲器的值就可以確定哪些線是連上的而哪些線是斷開的。這就可以把很多可編程邏輯單元組合起來形成大型的邏輯電路。

可編程的IO

任何芯片都必然有輸入引腳和輸出引腳。有可編程的IO可以任意的定義某個非專用引腳（FPGA中有專門的非用戶可使用的測試、下載用引腳）為輸入還是輸出，還可以對IO的電平標(biāo)準(zhǔn)進行設(shè)置。

總歸一句話，F(xiàn)PGA之所以可編程是因為可以通過特殊的01代碼制作成一張張 “真值表”，并將這些“真值表”組合起來以實現(xiàn)大規(guī)模的邏輯功能。

不了解FPGA內(nèi)部結(jié)構(gòu)，就不能明白最終代碼如何變到FPGA里面去的，也就無法深入的了解如何能夠充分運用FPGA?，F(xiàn)在的FPGA，不單單是有前面講的那三塊，還有很多專用的硬件功能單元，如何利用好這些單元實現(xiàn)復(fù)雜的邏輯電路設(shè)計，是從菜鳥邁向高手的路上必須要克服的障礙。而這一切，還是必須先從了解FPGA內(nèi)部邏輯及其工作原理做起。

2. 錯誤理解HDL語言，怎么看都看不出硬件結(jié)構(gòu)

HDL語言的英語全稱是：Hardware Deion Language，注意這個單詞Deion，而不是Design。老外為什么要用Deion這個詞而不是Design呢？因為HDL確實不是用用來設(shè)計硬件的，而僅僅是用來描述硬件的。

描述這個詞精確地反映了HDL語言的本質(zhì)，HDL語言不過是已知硬件電路的文本表現(xiàn)形式而已，只是將以后的電路用文本的形式描述出來而已。而在編寫語言之前，硬件電路應(yīng)該已經(jīng)被設(shè)計出來了。語言只不過是將這種設(shè)計轉(zhuǎn)化為文字表達形式而已。

硬件設(shè)計也是有不同的抽象層次，每一個層次都需要設(shè)計。最高的抽象層次為算法級、然后依次是體系結(jié)構(gòu)級、寄存器傳輸級、門級、物理版圖級。

使用HDL的好處在于我們已經(jīng)設(shè)計好了一個寄存器傳輸級的電路，那么用HDL描述以后轉(zhuǎn)化為文本的形式，剩下的向更低層次的轉(zhuǎn)換就可以讓EDA工具去做了，這就大大的降低了工作量。這就是可綜合的概念，也就是說在對這一抽象層次上硬件單元進行描述可以被EDA工具理解并轉(zhuǎn)化為底層的門級電路或其他結(jié)構(gòu)的電路。

在FPGA設(shè)計中，就是在將這以抽象層級的意見描述成HDL語言，就可以通過FPGA開發(fā)軟件轉(zhuǎn)化為上一點中所述的FPGA內(nèi)部邏輯功能實現(xiàn)形式。HDL也可以描述更高的抽象層級如算法級或者是體系結(jié)構(gòu)級，但目前受限于EDA軟件的發(fā)展，EDA軟件還無法理解這么高的抽象層次，所以HDL描述這樣抽象層級是無法被轉(zhuǎn)化為較低的抽象層級的，這也就是所謂的不可綜合。

所以在閱讀或編寫HDL語言，尤其是可綜合的HDL，不應(yīng)該看到的是語言本身，而是要看到語言背后所對應(yīng)的硬件電路結(jié)構(gòu)。

3. FPGA本身不算什么，一切皆在FPGA之外

FPGA是給誰用的？很多學(xué)校是為給學(xué)微電子專業(yè)或者集成電路設(shè)計專業(yè)的學(xué)生用的，其實這不過是很多學(xué)校受資金限制，買不起專業(yè)的集成電路設(shè)計工具而用FPGA工具替代而已。其實FPGA是給設(shè)計電子系統(tǒng)的工程師使用的。這些工程師通常是使用已有的芯片搭配在一起完成一個電子設(shè)備，如基站、機頂盒、視頻監(jiān)控設(shè)備等。當(dāng)現(xiàn)有芯片無法滿足系統(tǒng)的需求時，就需要用FPGA來快速的定義一個能用的芯片。

前面說了，F(xiàn)PGA里面無法就是一些“真值表”、觸發(fā)器、各種連線以及一些硬件資源，電子系統(tǒng)工程師使用FPGA進行設(shè)計時無非就是考慮如何將這些以后資源組合起來實現(xiàn)一定的邏輯功能而已，而不必像IC設(shè)計工程師那樣一直要關(guān)注到最后芯片是不是能夠被制造出來。

本質(zhì)上和利用現(xiàn)有芯片組合成不同的電子系統(tǒng)沒有區(qū)別，只是需要關(guān)注更底層的資源而已。要想把FPGA用起來還是簡單的，因為無非就是那些資源，在理解了前面兩點再搞個實驗板，跑跑實驗，做點簡單的東西是可以的。而真正要把FPGA用好，那光懂點FPGA知識就遠遠不夠了。因為最終要讓FPGA里面的資源如何組合，實現(xiàn)何種功能才能滿足系統(tǒng)的需要，那就需要懂得更多更廣泛的知識。

4. 數(shù)字邏輯知識是根本

無論是FPGA的哪個方向，都離不開數(shù)字邏輯知識的支撐。FPGA說白了是一種實現(xiàn)數(shù)字邏輯的方式而已。如果連最基本的數(shù)字邏輯的知識都有問題，學(xué)習(xí)FPGA的愿望只是空中樓閣而已。數(shù)字邏輯是任何電子電氣類專業(yè)的專業(yè)基礎(chǔ)知識，也是必須要學(xué)好的一門課。

如果不能將數(shù)字邏輯知識爛熟于心，養(yǎng)成良好的設(shè)計習(xí)慣，學(xué)FPGA到最后仍然是霧里看花水中望月，始終是一場空的。以上四條只是我目前總結(jié)菜鳥們在學(xué)習(xí)FPGA時所最容易跑偏的地方，F(xiàn)PGA的學(xué)習(xí)其實就像學(xué)習(xí)圍棋一樣，學(xué)會如何在棋盤上落子很容易，成為一位高手卻是難上加難。要真成為李昌鎬那樣的神一般的選手，除了靠刻苦專研，恐怕還確實得要一點天賦。

薦讀

1. 入門首先要掌握HDL（HDL=verilog+VHDL）

第一句話是：還沒學(xué)數(shù)電的先學(xué)數(shù)電。然后你可以選擇verilog或者VHDL，有C語言基礎(chǔ)的，建議選擇VHDL。因為verilog太像C了，很容易混淆，最后你會發(fā)現(xiàn)，你花了大量時間去區(qū)分這兩種語言，而不是在學(xué)習(xí)如何使用它。當(dāng)然，你思維能轉(zhuǎn)得過來，也可以選verilog，畢竟在國內(nèi)verilog用得比較多。

接下來，首先找本實例抄代碼。抄代碼的意義在于熟悉語法規(guī)則和編譯器（這里的編譯器是硅編譯器又叫綜合器，常用的編譯器有：Quartus、ISE、Vivado、Design Compiler 、Synopsys的VCS、iverilog、Lattice的Diamond、Microsemi/Actel的Libero、Synplify pro），然后再模仿著寫，最后不看書也能寫出來。編譯完代碼，就打開RTL圖，看一下綜合出來是什么樣的電路。

HDL是硬件描述語言，突出硬件這一特點，所以要用數(shù)電的思維去思考HDL，而不是用C語言或者其它高級語言，如果不能理解這句話的，可以看《什么是硬件以及什么是軟件》。在這一階段，推薦的教材是《Verilog傳奇》、《Verilog HDL高級數(shù)字設(shè)計》或者是《用于邏輯綜合的VHDL》。不看書也能寫出個三段式狀態(tài)機就可以進入下一階段了。

此外，你手上必須準(zhǔn)備Verilog或者VHDL的官方文檔，《verilog_IEEE官方標(biāo)準(zhǔn)手冊-2005_IEEE_P1364》、《IEEE Standard VHDL Language_2008》，以便遇到一些語法問題的時候能查一下。

2. 獨立完成中小規(guī)模的數(shù)字電路設(shè)計

現(xiàn)在，你可以設(shè)計一些數(shù)字電路了，像交通燈、電子琴、DDS等等，推薦的教材是夏老《Verilog 數(shù)字系統(tǒng)設(shè)計教程》（第三版）。在這一階段，你要做到的是：給你一個指標(biāo)要求或者時序圖，你能用HDL設(shè)計電路去實現(xiàn)它。這里你需要一塊開發(fā)板，可以選Altera的cyclone IV系列，或者Xilinx的Spantan 6。

還沒掌握HDL之前千萬不要買開發(fā)板，因為你買回來也沒用。這里你沒必要每次編譯通過就下載代碼，咱們用modelsim仿真（此外還有QuestaSim、NC verilog、Diamond的Active-HDL、VCS、Debussy/Verdi等仿真工具），如果仿真都不能通過那就不用下載了，肯定不行的。在這里先掌握簡單的testbench就可以了。推薦的教材是《WRITING TESTBENCHES Functional Verification of HDL Models》。

3. 掌握設(shè)計方法和設(shè)計原則

你可能發(fā)現(xiàn)你綜合出來的電路盡管沒錯，但有很多警告。這個時候，你得學(xué)會同步設(shè)計原則、優(yōu)化電路，是速度優(yōu)先還是面積優(yōu)先，時鐘樹應(yīng)該怎樣設(shè)計，怎樣同步兩個異頻時鐘等等。

推薦的教材是《FPGA權(quán)威指南》、《IP核芯志-數(shù)字邏輯設(shè)計思想》、《Altera FPGA/CPLD設(shè)計》第二版的基礎(chǔ)篇和高級篇兩本。學(xué)會加快編譯速度（增量式編譯、LogicLock），靜態(tài)時序分析（timequest），嵌入式邏輯分析儀（signaltap）就算是通關(guān)了。如果有不懂的地方可以暫時跳過，因為這部分還需要足量的實踐，才能有較深刻的理解。

4. 學(xué)會提高開發(fā)效率

因為Quartus和ISE的編輯器功能太弱，影響了開發(fā)效率。所以建議使用Sublime text編輯器中代碼片段的功能，以減少重復(fù)性勞動。Modelsim也是常用的仿真工具，學(xué)會TCL/TK以編寫適合自己的DO文件，使得仿真變得自動化，推薦的教材是《TCL/TK入門經(jīng)典》。

你可能會手動備份代碼，但是專業(yè)人士都是用版本控制器的，所以，為了提高工作效率，必須掌握GIT。文件比較器Beyond Compare也是個比較常用的工具。此外，你也可以使用System Verilog來替代testbench，這樣效率會更高一些。如果你是做IC驗證的，就必須掌握System Verilog和驗證方法學(xué)（UVM）。推薦的教材是《Writing Testbenches using SystemVerilog》、《The UVM Primer》、《System Verilog1800-2012語法手冊》。

掌握了TCL/TK之后，可以學(xué)習(xí)虛擬Jtag（ISE也有類似的工具）制作屬于自己的調(diào)試工具，此外，有時間的話，最好再學(xué)個python。腳本，意味著一勞永逸。

5. 增強理論基礎(chǔ)

這個時候，你已經(jīng)會使用FPGA了，但是還有很多事情做不了（比如，F(xiàn)IR濾波器、PID算法、OFDM等），因為理論沒學(xué)好。我大概地分幾個方向供大家參考，后面跟的是要掌握的理論課。

信號處理 —— 信號與系統(tǒng)、數(shù)字信號處理、數(shù)字圖像處理、現(xiàn)代數(shù)字信號處理、盲信號處理、自適應(yīng)濾波器原理、雷達信號處理

接口應(yīng)用 —— 如：UART、SPI、IIC、USB、CAN、PCIE、Rapid IO、DDR、TCP/IP、SPI4.2（10G以太網(wǎng)接口）、SATA、光纖、DisplayPort

無線通信 —— 信號與系統(tǒng)、數(shù)字信號處理、通信原理、移動通信基礎(chǔ)、隨機過程、信息論與編碼

CPU設(shè)計 —— 計算機組成原理、單片機、計算機體系結(jié)構(gòu)、編譯原理

儀器儀表 —— 模擬電子技術(shù)、高頻電子線路、電子測量技術(shù)、智能儀器原理及應(yīng)用

控制系統(tǒng) —— 自動控制原理、現(xiàn)代控制理論、過程控制工程、模糊控制器理論與應(yīng)用

壓縮、編碼、加密 —— 數(shù)論、抽象代數(shù)、現(xiàn)代編碼技術(shù)、信息論與編碼、數(shù)據(jù)壓縮導(dǎo)論、應(yīng)用密碼學(xué)、音頻信息處理技術(shù)、數(shù)字視頻編碼技術(shù)原理

現(xiàn)在你發(fā)現(xiàn)，原來FPGA會涉及到那么多知識，你可以選一個感興趣的方向，但是工作中很有可能用到其中幾個方向的知識，所以理論還是學(xué)得越多越好。如果你要更上一層，數(shù)學(xué)和英語是不可避免的。

6. 學(xué)會使用MATLAB仿真

設(shè)計FPGA算法的時候，多多少少都會用到MATLAB，比如CRC的系數(shù)矩陣、數(shù)字濾波器系數(shù)、各種表格和文本處理等。此外，MATLAB還能用于調(diào)試HDL（用MATLAB的計算結(jié)果跟用HDL算出來的一步步對照，可以知道哪里出問題）。推薦的教材是《MATLAB寶典》和杜勇的《數(shù)字濾波器的MATLAB與FPGA實現(xiàn)》。

7. 圖像處理

Photoshop

花一、兩周的時間學(xué)習(xí)PS，對圖像處理有個大概的了解，知道各種圖片格式、直方圖、色相、通道、濾鏡、拼接等基本概念，并能使用它。這部分是0基礎(chǔ)，目的讓大家對圖像處理有個感性的認識，而不是一上來就各種各樣的公式推導(dǎo)。推薦《Photoshop CS6完全自學(xué)教程》。

基于MATLAB或OpenCV的圖像處理

有C/C++基礎(chǔ)的可以學(xué)習(xí)OpenCV，否則的話，建議學(xué)MATLAB。這個階段下，只要學(xué)會簡單的調(diào)用函數(shù)即可，暫時不用深究實現(xiàn)的細節(jié)。推薦《數(shù)字圖像處理matlab版》、《學(xué)習(xí)OpenCV》。

圖像處理的基礎(chǔ)理論

這部分的理論是需要高數(shù)、復(fù)變、線性代數(shù)、信號與系統(tǒng)、數(shù)字信號處理等基礎(chǔ)，基礎(chǔ)不好的話，建議先補補基礎(chǔ)再來?？床欢睦碚撘部梢詴簳r先放下，或許學(xué)到后面就自然而然地開竅了。推薦《數(shù)字圖像處理》。

基于FPGA的圖像處理

把前面學(xué)到的理論運用到FPGA上面，如果這時你有前面第七個階段的水平，你將輕松地獨立完成圖像算法設(shè)計（圖像處理是離不開接口的，上面第五個階段有講）。推薦《基于FPGA的嵌入式圖像處理系統(tǒng)設(shè)計》、《基于FPGA的數(shù)字圖像處理原理及應(yīng)用》。

進一步鉆研數(shù)學(xué)。要在算法上更上一層，必然需要更多的數(shù)學(xué)，所以這里建議學(xué)習(xí)實分析、泛涵分析、小波分析等。

其它問題

1. 為什么不推薦學(xué)習(xí)MicroBlaze等軟核？

性價比不高，一般的軟核性能大概跟Cortex M3或M4差不多，用FPGA那么貴的東西去做一個性能一般的CPU，在工程上是非常不劃算的。不如另外加一塊M3。

加上軟核，可能會影響到其它的邏輯的功能。這是在資源并不十分充足的情況下，再加上軟核，導(dǎo)致布局布線變得相當(dāng)困難。軟核不開源，出現(xiàn)Bug的時候，不容易調(diào)試。工程上很少使用，極有可能派不上用場。

2. 為什么不推薦0基礎(chǔ)學(xué)習(xí)ZYNQ或SOC？

入門應(yīng)該學(xué)習(xí)盡量簡單的東西，要么專心學(xué)習(xí)ARM，要么專心學(xué)習(xí)FPGA。這樣更容易有成就感，增強信心。

ZYNQ和SOC的應(yīng)用領(lǐng)域并不廣，還有很多人沒聽過這種東西，導(dǎo)致求職的不利。開發(fā)工具編譯時間長，浪費較多時間。絕大多數(shù)工作，都只是負責(zé)一方面，也就是說另一方面，很有可能派不上用場。

3. 為什么已經(jīng)存在那么多IP核，仍需寫HDL？

問這種問題的，一般是學(xué)生，他們沒有做過產(chǎn)品，沒有遇到過工程上的問題。IP核并非萬能，不能滿足所有需求。盡量少用閉源IP核，一旦出問題，這種黑匣子很可能讓產(chǎn)品難產(chǎn)。

深入理解低一層次，可以更好地使用高一層次。該法則可以適用于所有編程語言。

原文標(biāo)題：零基礎(chǔ)入門FPGA，如何學(xué)習(xí)？

文章出處：【微信公眾號：FPGA之家】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。