利用深度學(xué)習(xí)加速芯片設(shè)計(jì)

實(shí)現(xiàn)自主可控的芯片設(shè)計(jì)已經(jīng)成為我國(guó)社會(huì)和行業(yè)發(fā)展的熱點(diǎn)，而伴隨著對(duì)芯片功能性和穩(wěn)定性與日俱增的要求，芯片設(shè)計(jì)也變得越來(lái)越復(fù)雜，如何快速和便捷地進(jìn)行設(shè)計(jì)空間的探索也變得越來(lái)越具有挑戰(zhàn)性!

今天我們有幸邀請(qǐng)到來(lái)自上海交通大學(xué)信息工程專(zhuān)業(yè)的盧凌峰和李江川兩位同學(xué)，來(lái)分享他們?cè)趨⑴c MATLAB 學(xué)生創(chuàng)新項(xiàng)目(MathWorks Excellence in Innovation Projects)時(shí)是如何利用深度學(xué)習(xí)來(lái)加速鎖相環(huán)設(shè)計(jì)的。GitHub 上也有他們分享的代碼和數(shù)據(jù)，可以下載哦：https://github.com/lulf0020/Behavior-modeling-of-PLL

同時(shí)，如果是對(duì)芯片設(shè)計(jì)這個(gè)話(huà)題感興趣，也可以參加我們 11 月 22/24 日晚上 7-8 點(diǎn)的小邁步之 MATLAB助力芯片設(shè)計(jì)系列講座!作為入門(mén)級(jí)講座，我們會(huì)使用豐富的實(shí)際操作案例來(lái)介紹如何在各領(lǐng)域使用 MATLAB 與 Simulink 實(shí)現(xiàn)芯片設(shè)計(jì)應(yīng)用，歡迎來(lái)聽(tīng)!

以下是他們的分享——

鎖相環(huán)(Phase Lock Loop, PLL)被稱(chēng)為芯片的“心臟”!它利用外部晶

振作為參考時(shí)鐘，通過(guò)閉環(huán)控制輸出一個(gè)穩(wěn)定的更高頻率的時(shí)鐘，以供芯片的時(shí)序電路使用。心臟的正常跳動(dòng)很大程度上決定著一個(gè)人能否健康地生活，而設(shè)計(jì)一個(gè)穩(wěn)定的 PLL 則成為保障一個(gè)芯片能正常運(yùn)行的重要前提!

2021 年，我們選修了楊宇紅老師主講的校企合作課程《工程實(shí)踐與科技創(chuàng)新》，作為課程的一部分，我們需要在課程期間完成一個(gè)實(shí)踐項(xiàng)目。MathWorks 的學(xué)生創(chuàng)新項(xiàng)目是由其在全球一線工程師們結(jié)合當(dāng)前行業(yè)需求和最新技術(shù)發(fā)展趨勢(shì)所確立的一些研究和實(shí)踐課題，涉及 5G、大數(shù)據(jù)、工業(yè) 4.0、人工智能、自動(dòng)駕駛、機(jī)器人、無(wú)人機(jī)、計(jì)算機(jī)視覺(jué)、可持續(xù)發(fā)展及可再生能源等各個(gè)領(lǐng)域。我們決定在其中選擇一個(gè)項(xiàng)目并在 3 個(gè)月之內(nèi)完成。

為什么選擇“基于深度學(xué)習(xí)技術(shù)進(jìn)行鎖相環(huán)行為級(jí)建?！?項(xiàng)目?

這個(gè)項(xiàng)目的實(shí)用性以及新穎性吸引了我們!對(duì)鎖相環(huán)進(jìn)行行為級(jí)建模，可以節(jié)省設(shè)計(jì)過(guò)程中的時(shí)間成本。具體來(lái)說(shuō)，通過(guò)深度學(xué)習(xí)建立鎖相環(huán)的行為級(jí)模型之后，我們可以輸入器件參數(shù)直接得到鎖相環(huán)的性能表現(xiàn)，而不需要經(jīng)過(guò)冗長(zhǎng)的仿真測(cè)試環(huán)節(jié)。

另外，在選擇這個(gè)項(xiàng)目之前，我們?cè)?jīng)在學(xué)校的機(jī)器學(xué)習(xí)課程中接觸過(guò)神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識(shí)，也曾在暑期實(shí)習(xí)過(guò)程中，對(duì)很多的神經(jīng)網(wǎng)絡(luò)進(jìn)行了調(diào)研，并實(shí)戰(zhàn)過(guò)利用 YOLO 算法來(lái)做目標(biāo)識(shí)別。一定的知識(shí)儲(chǔ)備使得我們更加有底氣選擇這個(gè)項(xiàng)目。

在項(xiàng)目中遇到什么問(wèn)題?是如何解決的?

數(shù)據(jù)集和模型是開(kāi)展深度學(xué)習(xí)的兩個(gè)關(guān)鍵因素。在這個(gè)項(xiàng)目中，我們遇到的兩個(gè)主要問(wèn)題包括數(shù)據(jù)集的收集和模型建立：

問(wèn)題一：如何高效的收集數(shù)據(jù)集?

問(wèn)題二：怎樣建立有效的深度學(xué)習(xí)模型?

下面就給大家詳細(xì)介紹一下我們是如何解決這兩個(gè)問(wèn)題的。

問(wèn)題一：如何高效的收集數(shù)據(jù)集?

在這個(gè)項(xiàng)目中，沒(méi)有現(xiàn)成的數(shù)據(jù)集可供我們使用。項(xiàng)目開(kāi)始前，MathWorks出題工程師 Pragati Tiwary 對(duì)于題目細(xì)節(jié)給我們做了深入地解釋。他告訴我們 MATLAB 的混合信號(hào)工具箱(Mixed-Signal Blockset)里所提供的N分頻鎖相環(huán)參考模型給我們提供了一種可以通過(guò)仿真來(lái)建立數(shù)據(jù)集的手段。

該模型(如下圖示)包含了五個(gè)模塊：鑒相器，電荷泵，環(huán)路濾波器，壓控振蕩器和分頻器。我們需要做的是不斷改變這五個(gè)模塊的參數(shù)，看看會(huì)對(duì)鎖相環(huán)輸出信號(hào)的頻率、鎖定時(shí)間以及相位噪聲產(chǎn)生什么樣的影響。

圖一 N 分頻鎖相環(huán)參考模型

混合信號(hào)工具箱除了提供參考模型，還提供了測(cè)試平臺(tái)。利用這個(gè)平臺(tái)，我們可以便捷地對(duì)各種不同參數(shù)下的鎖相環(huán)模型的輸出信號(hào)進(jìn)行監(jiān)測(cè)，記錄下所需要的輸出結(jié)果。

項(xiàng)目初期，我們遇到的主要問(wèn)題是數(shù)據(jù)集的收集效率低下。為了獲得一組數(shù)據(jù)，我們每次都需要手動(dòng)更改模型各個(gè)模塊的參數(shù)設(shè)置，再對(duì)進(jìn)行一次仿真測(cè)試，最后需要手動(dòng)記錄測(cè)試平臺(tái)的輸出結(jié)果，十分費(fèi)時(shí)。

這時(shí)，Pragati 給我們提供了耐心的指導(dǎo)，他告訴我們?nèi)绾螌?duì)鎖相環(huán)模型進(jìn)行批量的數(shù)據(jù)導(dǎo)入、仿真以及數(shù)據(jù)導(dǎo)出。在他的幫助下，我們將 Simulink 與 MATLAB 配合使用，由 MATLAB 程序調(diào)整模型參數(shù)并控制 Simulink 模型進(jìn)行批量的仿真和測(cè)試。我們將模型中需要測(cè)試的參數(shù)設(shè)置為變量，這樣就可以通過(guò)更改變量值的方式來(lái)更改仿真模型的參數(shù)值。

但是，我們隨后發(fā)現(xiàn)一些涉及到模型結(jié)構(gòu)的參數(shù)，比如環(huán)路濾波器的階數(shù)，是無(wú)法簡(jiǎn)單地通過(guò)改變變量值的方式來(lái)進(jìn)行修改的。正當(dāng)我們一籌莫展時(shí)，卻驚喜地發(fā)現(xiàn)鎖相環(huán)中通常所采用的二階，三階和四階環(huán)路濾波器的電路形式具有相似性。于是，我們統(tǒng)一采用了四階環(huán)路濾波電路的模型，只是在設(shè)置參數(shù)時(shí)，通過(guò)將對(duì)應(yīng)的電容、電阻設(shè)為0，來(lái)模擬斷路和短路，以實(shí)現(xiàn)更低階數(shù)的環(huán)路濾波器。至此，我們實(shí)現(xiàn)了仿真模型參數(shù)的快速更改。

圖二 二階、三階和四階環(huán)路濾波器(從左到右)

對(duì)輸出結(jié)果，我們也希望能夠像仿真模型的參數(shù)一樣，實(shí)現(xiàn)通過(guò)程序自動(dòng)記錄。但我們經(jīng)過(guò)測(cè)試后發(fā)現(xiàn)，測(cè)試平臺(tái)的最終輸出結(jié)果無(wú)法導(dǎo)出，而只能導(dǎo)出中間結(jié)果。于是我們只好自動(dòng)導(dǎo)出中間結(jié)果，再根據(jù)相應(yīng)輸出結(jié)果的計(jì)算方法，通過(guò)中間結(jié)果求解出我們所需要的最終結(jié)果。

最終，我們建立起了 MATLAB 和 Simulink 配合仿真和測(cè)試的全流程：通過(guò)生成在一定范圍內(nèi)的隨機(jī)數(shù)，對(duì)仿真模型的參數(shù)值進(jìn)行更改;使用MATLAB的控制指令進(jìn)行模型的仿真和測(cè)試，Simulink會(huì)在仿真結(jié)束后將記錄的中間結(jié)果回傳到 MATLAB，最后根據(jù)回傳的中間結(jié)果計(jì)算我們關(guān)注的輸出結(jié)果并記錄。在設(shè)定了程序執(zhí)行的循環(huán)次數(shù)后，就能夠?qū)崿F(xiàn)無(wú)監(jiān)管下的數(shù)據(jù)收集工作，在一定程度上提高了數(shù)據(jù)集的建立效率。

問(wèn)題二：怎樣建立有效的深度學(xué)習(xí)模型?

深度學(xué)習(xí)一般被用于復(fù)雜信息的特征提取以及預(yù)測(cè)量的回歸或擬合標(biāo)定。譬如在卷積神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)中就包含較多的卷積層和池化層等用于圖片特征信息的提取。而在我們的項(xiàng)目中，實(shí)際需要的特征值大多已經(jīng)在項(xiàng)目信息中給出。

通過(guò)實(shí)驗(yàn)，我們發(fā)現(xiàn)僅兩層的前饋式神經(jīng)網(wǎng)絡(luò)就可以較好地實(shí)現(xiàn)對(duì)輸入?yún)?shù)到輸出參數(shù)映射關(guān)系的建模，于是我們采用了神經(jīng)網(wǎng)絡(luò)中結(jié)構(gòu)較簡(jiǎn)單的前饋式神經(jīng)網(wǎng)絡(luò)。

MATLAB 提供了一個(gè)深度學(xué)習(xí)工具箱，你可以從零開(kāi)始構(gòu)建想要的神經(jīng)網(wǎng)絡(luò)模型，也可以在工具箱所提供的參考神經(jīng)網(wǎng)絡(luò)模型上進(jìn)行修改。該工具箱可以從 TensorFlow 和 Caffe 導(dǎo)入模型，并支持對(duì) DarkNet-53、ResNet-50、NASNet、SqueezeNet 等較為熱門(mén)的預(yù)訓(xùn)練模型進(jìn)行遷移學(xué)習(xí)。

我們要給大家安利的是深度學(xué)習(xí)工具箱里所提供的 Neural Network Fitting APP。這個(gè)APP提供了如下圖所示的神經(jīng)元節(jié)點(diǎn)數(shù)可選的兩層前饋式神經(jīng)網(wǎng)絡(luò)。這個(gè)神經(jīng)網(wǎng)絡(luò)以經(jīng)典的非線性激活函數(shù)sigmoid作為隱藏層神經(jīng)元的激活函數(shù)，而在輸出層則采用了線性的輸出函數(shù);以均方差值(MSE)作為訓(xùn)練指標(biāo)，并且可以對(duì)訓(xùn)練的結(jié)果進(jìn)行回歸度分析。在這個(gè) APP 的基礎(chǔ)上，通過(guò)人為地對(duì)訓(xùn)練數(shù)據(jù)、測(cè)試數(shù)據(jù)以及訓(xùn)練完成的模型進(jìn)行一些數(shù)據(jù)處理，就大致滿(mǎn)足了我們的需求。

圖三 Neural Network Fitting APP

不得不提的是，我們建立的模型一開(kāi)始的擬合效果并不好，于是我們嘗試了數(shù)據(jù)預(yù)處理、增加神經(jīng)節(jié)點(diǎn)、調(diào)整各個(gè)數(shù)據(jù)集的比例等方式，最后得到了一個(gè)還不錯(cuò)的擬合效果。

在前饋式神經(jīng)網(wǎng)絡(luò)這一模型主體上，一個(gè)良好的數(shù)據(jù)預(yù)處理形式可以使得整體神經(jīng)網(wǎng)絡(luò)具有更好的擬合效果。對(duì)于數(shù)量級(jí)相差較大的數(shù)據(jù)，我們使用對(duì)數(shù)函數(shù)輔助進(jìn)行歸一化，使得其數(shù)據(jù)分布盡可能實(shí)現(xiàn)均勻且有區(qū)分度，不會(huì)有過(guò)多的差異數(shù)據(jù)聚集在數(shù)據(jù)軸上的幾個(gè)點(diǎn)附近而導(dǎo)致欠擬合或過(guò)擬合。

在模型訓(xùn)練過(guò)程中，數(shù)據(jù)集會(huì)被劃分為訓(xùn)練集、測(cè)試集和驗(yàn)證集三個(gè)部分。其中，訓(xùn)練集和測(cè)試集會(huì)用于模型的訓(xùn)練過(guò)程，而驗(yàn)證集主要用于模型最終性能的評(píng)估。在訓(xùn)練過(guò)程中，我們注意到，僅僅保證訓(xùn)練集和測(cè)試集占總體數(shù)據(jù)集大小的比例是不夠的，測(cè)試集最好具有一定的絕對(duì)數(shù)量，否則其反映出來(lái)的模型擬合程度可能無(wú)法反應(yīng)出模型實(shí)際的擬合程度。在這個(gè)項(xiàng)目中，大約需要 >200 個(gè)樣本的測(cè)試集才能保證其用于訓(xùn)練的模型擬合程度數(shù)據(jù)較為可靠，使模型訓(xùn)練進(jìn)程能有效推進(jìn)下去。

結(jié)語(yǔ)：努力學(xué)習(xí) + 勇敢嘗試 = 成功

時(shí)光荏苒，現(xiàn)在我們一個(gè)已經(jīng)在上海三菱電梯工作，一個(gè)正在備戰(zhàn)考研，但這段跨時(shí)差跨語(yǔ)言的項(xiàng)目經(jīng)歷是很難忘的。我們最大的收獲不僅是通過(guò)項(xiàng)目實(shí)踐鞏固了所學(xué)的知識(shí)、體會(huì)到創(chuàng)新的重要性，還通過(guò)和 MathWorks 的工程師在線上用英語(yǔ)溝通和交流開(kāi)闊了眼界和提高了膽量。在此，非常感謝 MATLAB 學(xué)生創(chuàng)新項(xiàng)目給我們提供了實(shí)踐的機(jī)會(huì)，感謝《工程實(shí)踐與科技創(chuàng)新》課程的主講老師楊宇紅老師與 MathWorks 的 Pragati Tiwary 及許悅伊博士給我們提供的幫助和指導(dǎo)!

P.S.：盧凌峰和李江川兩位同學(xué)參加的 Behavior Modeling of PLL 是 MathWorks 為同學(xué)們提供的二百余個(gè) MATLAB 學(xué)生創(chuàng)新項(xiàng)目(Excellence in Innovation Projects)項(xiàng)目之一。

最后，如果是對(duì)芯片設(shè)計(jì)這個(gè)話(huà)題感興趣，也可以參加我們 11 月 22/24 日晚上 7-8 點(diǎn)的小邁步之 MATLAB助力芯片設(shè)計(jì)系列講座!作為入門(mén)級(jí)講座，我們會(huì)使用豐富的實(shí)際操作案例來(lái)介紹如何在各領(lǐng)域使用 MATLAB 與 Simulink 實(shí)現(xiàn)芯片設(shè)計(jì)應(yīng)用，歡迎來(lái)聽(tīng)!

審核編輯：湯梓紅