GX8010芯片的VSP語(yǔ)音信號(hào)處理框架的開(kāi)發(fā)指南資料免費(fèi)下載

　　VSP（語(yǔ)音信號(hào)處理）是專為GX8010芯片研發(fā)的語(yǔ)音信號(hào)處理框架。它運(yùn)行在MCU、DSP、NPU和CPU上，主要完成待機(jī)和工作模式下的語(yǔ)音信號(hào)處理，比如降噪、去混響、回聲消除、波束合成、特征提取、激活詞識(shí)別等。除此之外，VSP框架還實(shí)現(xiàn)了原始語(yǔ)音數(shù)據(jù)采集、系統(tǒng)的啟動(dòng)和初始化（BootLoader）、系統(tǒng)狀態(tài)檢測(cè)、系統(tǒng)功耗控制、LED環(huán)效果、USB聲卡等功能。

　　VSP在設(shè)計(jì)之初就兼顧考慮了語(yǔ)音信號(hào)處理的運(yùn)算特點(diǎn)、硬件模塊的特點(diǎn)、NPU和DSP處理器的特點(diǎn)，并在很大程度上對(duì)算法實(shí)現(xiàn)的便利性、內(nèi)存使用效率、處理器性能和系統(tǒng)功耗進(jìn)行了充分的優(yōu)化。

　　為了幫助算法工程師順利的在GX8010實(shí)現(xiàn)、移植和優(yōu)化語(yǔ)音處理算法，特編寫(xiě)此文檔詳細(xì)描述VSP框架的組成和工作原理，以及開(kāi)發(fā)過(guò)程中所需要的相關(guān)信息。除了算法工程師之外，系統(tǒng)架構(gòu)師、系統(tǒng)工程師、驅(qū)動(dòng)工程師、應(yīng)用工程師也可以參考該文檔，以便在VSP框架的基礎(chǔ)上實(shí)現(xiàn)附加功能。

　　本文首先描述VSP運(yùn)行的硬件環(huán)境以及VSP的軟件需求，然后給出主要的設(shè)計(jì)思想和實(shí)現(xiàn)原則，然后展開(kāi)描述VSP軟件的設(shè)計(jì)（異步消息、Context、流水線、工作模式、啟動(dòng)過(guò)程和軟件部署），最后給出移植算法的參考方法，文末附帶開(kāi)發(fā)環(huán)境指南和VSP的API指南。

　　1.1 知識(shí)準(zhǔn)備

　　為了充分的理解VSP，并在VSP框架之上進(jìn)行開(kāi)發(fā)，并且讓系統(tǒng)的穩(wěn)定和高效的運(yùn)轉(zhuǎn)起來(lái)。一般來(lái)說(shuō)，開(kāi)發(fā)者需要具備以下知識(shí)、技能和相關(guān)經(jīng)驗(yàn)：

　　語(yǔ)音信號(hào)處理的一般過(guò)程；

　　深度神經(jīng)網(wǎng)絡(luò)的工作原理，以及GX8010的NPU的開(kāi)發(fā)流程；

　　GX8010語(yǔ)音信號(hào)處理子系統(tǒng)的硬件體系結(jié)構(gòu)；

　　C語(yǔ)言的功底，開(kāi)發(fā)者需要具備比較深厚的C語(yǔ)言功底，尤其要理解C語(yǔ)言的編譯和鏈接的原理；

　　Tensilica HiFi4 DSP處理器的特點(diǎn)（尤其是矢量運(yùn)算的特點(diǎn)），這對(duì)做算法優(yōu)化尤其重要；

　　Linux Kernel驅(qū)動(dòng)程序，VSP框架最終都是依靠Linux驅(qū)動(dòng)程序與上層應(yīng)用進(jìn)行數(shù)據(jù)交互的。如果開(kāi)發(fā)者希望在VSP框架基礎(chǔ)上添加附加功能，那么還需要了解Linux Kernel驅(qū)動(dòng)程序的開(kāi)發(fā)和調(diào)試；

　　嵌入系統(tǒng)（尤其是內(nèi)存受限系統(tǒng)和前后臺(tái)系統(tǒng)）的一些設(shè)計(jì)模式，比如多核的運(yùn)算量分配策略、狀態(tài)機(jī)、工作模式、消息派送、任務(wù)隊(duì)列、靜態(tài)內(nèi)存分配等等；

　　本文將著重描述VSP框架所依賴的硬件子系統(tǒng)的相關(guān)信息，VSP框架的組成和運(yùn)行原理、算法開(kāi)發(fā)環(huán)境的搭建、VSP SDK的API等相關(guān)內(nèi)容。其余知識(shí)請(qǐng)參考“參考文檔”一節(jié)。