大型陣列天線設(shè)計(jì)的HPC需求

概述

浙江省微波毫米波射頻產(chǎn)業(yè)聯(lián)盟

旗下杭州基爾區(qū)塊鏈科技有限公司專注于采用區(qū)塊鏈技術(shù)、高性能計(jì)算技術(shù)為電子系統(tǒng)、航空航天、集成電路等領(lǐng)域企業(yè)研發(fā)提供創(chuàng)新一體化解決方案。基爾科技以區(qū)塊鏈基礎(chǔ)平臺，協(xié)同研發(fā)云平臺為主要產(chǎn)品形式，為企業(yè)提供集成知識產(chǎn)權(quán)保護(hù)、遠(yuǎn)程接入、工程設(shè)計(jì)、高性能分布式計(jì)算、軟硬件管理，數(shù)據(jù)管理的一體化解決方案，幫助企業(yè)快速、高效、低成本地實(shí)現(xiàn)產(chǎn)品迭代開發(fā)和上市銷售。

大型陣列天線設(shè)計(jì)的HPC需求

在過去幾十年里，天線廣泛應(yīng)用于廣播、電視、無線電通信、雷達(dá)、導(dǎo)航、電子對抗、遙感、射電天文等領(lǐng)域。隨著現(xiàn)代無線通信和雷達(dá)快速發(fā)展，天線和陣列也變得越來越復(fù)雜，例如具有更多程度的設(shè)計(jì)自由度、集成和制造限制以及設(shè)計(jì)目標(biāo)。天線設(shè)計(jì)遵循著收發(fā)強(qiáng)質(zhì)量且無環(huán)境影響信號的原則，因此速度、精度、功率、成本和尺寸是天線設(shè)計(jì)系統(tǒng)的重要參數(shù)。
? ? ? ?HFSS是設(shè)計(jì)天線的一個(gè)重要工具，基于有限元方法，擅長包括天線設(shè)計(jì)和布置在內(nèi)的各種高頻、全波、電磁應(yīng)用，是一款業(yè)界領(lǐng)先的三維電磁(EM)仿真工具。近年來，天線的小型化、有限的信道帶寬、縮短的設(shè)計(jì)時(shí)間以及天線與其他組件的相互作用給設(shè)計(jì)工程師帶來了嚴(yán)峻的挑戰(zhàn)。在天線的仿真計(jì)算過程中，HFSS自適應(yīng)網(wǎng)格剖分耗時(shí)較久，剖分后的頻點(diǎn)求解過程復(fù)雜。為了減少網(wǎng)格剖分細(xì)化的迭代時(shí)間，提高掃頻計(jì)算速度，幫助設(shè)計(jì)師更快地完成天線設(shè)計(jì)任務(wù)，需要搭建適合業(yè)務(wù)場景的HPC設(shè)計(jì)平臺。

HPC設(shè)計(jì)平臺介紹

HPC設(shè)計(jì)平臺概述

一套完整的HPC設(shè)計(jì)平臺，由基礎(chǔ)硬件與平臺管理軟件兩部分組成。硬件層面，服務(wù)器、網(wǎng)絡(luò)、存儲三類硬件是平臺能夠良好運(yùn)行的基礎(chǔ)條件。針對不同的產(chǎn)品設(shè)計(jì)階段，三類硬件所發(fā)揮的功能和要求的性能指標(biāo)也不一樣，在搭建基礎(chǔ)平臺時(shí)，如果沒有針對公司的產(chǎn)品和不同的設(shè)計(jì)需求進(jìn)行個(gè)性化配置，很容易造成設(shè)計(jì)資源不足，由于某個(gè)環(huán)境、節(jié)點(diǎn)瓶頸造成的整體性能下降問題。因此在規(guī)劃HPC設(shè)計(jì)平臺的初期，就應(yīng)該針對公司產(chǎn)品不同的類型和設(shè)計(jì)要求，有選擇的進(jìn)行基礎(chǔ)硬件的配置，盡可能的在同樣預(yù)算的情況下，配置最優(yōu)組合，既能滿足使用要求，又能不造成硬件的過度投入，擠壓了后續(xù)的擴(kuò)展需求組。

HPC設(shè)計(jì)平臺環(huán)境中節(jié)點(diǎn)眾多，應(yīng)用環(huán)境復(fù)雜，使用人數(shù)較多，需要一套專業(yè)、簡易的平臺管理軟件對集群進(jìn)行系統(tǒng)的管理、配置、維護(hù)，方便用戶進(jìn)行產(chǎn)品設(shè)計(jì)與大規(guī)模分布式計(jì)算。一款成熟的平臺軟件可以幫助系統(tǒng)管理員快速完成對設(shè)計(jì)環(huán)境、應(yīng)用程序的部署，嚴(yán)格控制用戶權(quán)限，可對單一節(jié)點(diǎn)或者批量執(zhí)行節(jié)點(diǎn)的開機(jī)、關(guān)機(jī)、刪除、允許，拒絕提交計(jì)算任務(wù)的操作。用戶通過平臺管理軟件可以觀察節(jié)點(diǎn)的設(shè)備狀態(tài)，通過命令行、WEB界面、應(yīng)用軟件集成界面、作業(yè)腳本和可執(zhí)行文件等多種方式靈活進(jìn)行大規(guī)模的分布式計(jì)算仿真?？偟膩碚f，平臺管理軟件幫助用戶提高大規(guī)模計(jì)算集群的使用效率，減輕集群運(yùn)維負(fù)擔(dān)。

HFSS仿真計(jì)算特點(diǎn)

圖1??HFSS軟件運(yùn)行過程

1. 網(wǎng)格自適應(yīng)剖分主要依賴于CPU的基頻。天線模型越復(fù)雜，網(wǎng)格剖分時(shí)間越久，只關(guān)注CPU的核數(shù)而忽略頻率，并不會提高仿真速度。
? ? ? ?2. 頻點(diǎn)求解過程是多核并行計(jì)算的結(jié)果。由于剖分的單核計(jì)算占比較長，并行度有限，需要提供足夠的核數(shù)和高頻，以保證整個(gè)求解過程無死角瓶頸。
? ? ? ?3. HFSS計(jì)算過程是單核和多核交叉過程，對GPU要求不高。圖形的幾何頂點(diǎn)數(shù)據(jù)的計(jì)算，都是由CPU計(jì)算承擔(dān)的，主要依靠單核，圖卡任務(wù)得到圖形的幾何頂點(diǎn)數(shù)據(jù)生成圖形，因此要讓復(fù)雜模型流暢，顯卡任務(wù)輕松，只有提升CPU頻率解決。
? ? ? ?基于上述計(jì)算特點(diǎn)，采用平臺管理軟件配合HFSS使用，在網(wǎng)格求解階段使用高主頻，少核的硬件，在掃頻或者掃參階段使用多核，中主頻的硬件，可以有效提高單任務(wù)和多任務(wù)仿真的速度和計(jì)算資源的使用效率。

硬件配置推薦

硬件詳細(xì)參數(shù)

HFSS所能計(jì)算的問題規(guī)模與HPC計(jì)算平臺的硬件配置CPU速度、內(nèi)存容量、硬盤IO很大關(guān)聯(lián)，內(nèi)存容量越多，求解規(guī)模越大，CPU頻率越高，計(jì)算速度越快。

基于HFSS仿真計(jì)算特點(diǎn)的分析，推薦使用2U 4節(jié)點(diǎn)高密度服務(wù)器，詳細(xì)硬件參數(shù)推薦如下：

★ CPU：

網(wǎng)格剖分采用Intel@Xeon@ Golden 6244處理器，掃頻與掃參采用Intel@Xeon@ Golden 6248R處理器，14nm制程，在基礎(chǔ)頻率與內(nèi)存頻率相匹配的情況下，單顆CPU可最大支持1TB內(nèi)存，6個(gè)內(nèi)存通道。

高密服務(wù)器每節(jié)點(diǎn)支持2顆CPU，設(shè)備配滿8顆CPU，共有160核。

★?內(nèi)存

主要關(guān)注內(nèi)存容量、通道數(shù)量和內(nèi)存速度。建議使用大于2933MHz的內(nèi)存，插滿DIMM，每顆cpu的內(nèi)存通道數(shù)跟內(nèi)存條數(shù)相匹配。

★?硬盤

服務(wù)器的本地存儲建議選用全SSD，不要使用高速的SATA，性能差距較大。具有較短尋道時(shí)間的SSD將減少等待硬盤驅(qū)動(dòng)器尋道讀取/寫入所有這些不同文件的時(shí)間，有助于數(shù)據(jù)后處理。

★?網(wǎng)卡

至少選擇10G網(wǎng)絡(luò)，大于2個(gè)節(jié)點(diǎn)并行可選擇IB互聯(lián)，隨集群規(guī)模增大，可以搭建更高速互聯(lián)（大于40 Gbps）。

高密服務(wù)器也可以換成浪潮i24或超聚變FusionServer X6000系列。

平臺管理軟件

KTeam是基爾科技自主研發(fā)的一套成熟的商業(yè)高性能協(xié)同設(shè)計(jì)管理軟件，系統(tǒng)架構(gòu)可以分為硬件層、系統(tǒng)軟件層、集群軟件層、應(yīng)用環(huán)境層和應(yīng)用層，KTeam及其相關(guān)服務(wù)涵蓋了硬件層以上、應(yīng)用層以下的三層，即系統(tǒng)軟件層、集群軟件層和應(yīng)用環(huán)境層，這是保證行業(yè)應(yīng)用能在集群硬件設(shè)備上運(yùn)行的基本條件，如圖2所示：

圖2?平臺系統(tǒng)架構(gòu)

注：EDA/CAE軟件 license需客戶自行提供

在集群軟件層，KTeam提供集群部署、工作臺、平臺管理、文件管理、用戶管理、集群監(jiān)控、作業(yè)調(diào)度、作業(yè)調(diào)度管理、集群統(tǒng)計(jì)等功能模塊，同時(shí)提供網(wǎng)頁端實(shí)現(xiàn)界面交互操作界面。這些功能集中管理和監(jiān)控系統(tǒng)中所有節(jié)點(diǎn)的資源，實(shí)現(xiàn)了整個(gè)集群系統(tǒng)的單一系統(tǒng)映像，使用戶感覺只是在使用一臺計(jì)算機(jī)。
? ? ? ?在應(yīng)用軟件層，基爾科技在行業(yè)軟件領(lǐng)域具有豐富的應(yīng)用經(jīng)驗(yàn)，幫助用戶完善其并行環(huán)境，完成實(shí)施后還將為用戶進(jìn)行功能與性能測試，評估用戶集群效率，進(jìn)行系統(tǒng)調(diào)優(yōu)。
? ? ? ?普通用戶與系統(tǒng)管理員可通過Web界面對平臺系統(tǒng)進(jìn)行操作和管理。KTeam主要包括KTeam Cockpit和KTeam Console兩個(gè)子套件，分別提供給前端普通用戶與后端系統(tǒng)管理員使用，功能模塊涵蓋工作臺、作業(yè)管理、文件管理、集群監(jiān)控、數(shù)據(jù)統(tǒng)計(jì)、應(yīng)用管理、用戶管理、日志管理、調(diào)度策略管理等。下圖是KTeam的軟件組成示意。

圖3?KTeam架構(gòu)

KTeam為普通用戶提供了高效、實(shí)用的設(shè)計(jì)工作臺接入和使用方式，可從Web頁面上直接遠(yuǎn)程接入指定工作臺，支持網(wǎng)頁端和客戶端兩種途徑。用戶可以通過共享桌面的方式將工作臺分享給其他用戶進(jìn)行協(xié)同工作。用戶可以采用多種方式進(jìn)行計(jì)算仿真作業(yè)的提交，包括命令行、Web界面、應(yīng)用軟件界面、作業(yè)腳本和可執(zhí)行文件。KTeam還具有豐富的文件管理功能，通過Web界面可進(jìn)行瀏覽、新建、在線編輯、實(shí)時(shí)瀏覽、上傳、下載等操作，方便用戶進(jìn)行文件管理。KTeam中核心的作業(yè)調(diào)度管理以適配多種高性能計(jì)算場景，如IC設(shè)計(jì)、電磁場仿真、結(jié)構(gòu)，力，熱仿真、FPGA設(shè)計(jì)等，可實(shí)現(xiàn)對計(jì)算節(jié)點(diǎn)、隊(duì)列、調(diào)度策略、預(yù)留資源的配置，方便系統(tǒng)管理員對平臺進(jìn)行資源管理，并且支持多種調(diào)度策略。同時(shí)系統(tǒng)管理員可控制用戶(組)的權(quán)限，控制每個(gè)用戶(組)的資源限額，防止內(nèi)存溢出，過度消耗系統(tǒng)資源的情況出現(xiàn)。KTeam具有豐富的統(tǒng)計(jì)功能，針對用戶或用戶組提供小時(shí)、日、月的作業(yè)和應(yīng)用軟件使用等統(tǒng)計(jì)信息,可依次生成不同格式的報(bào)表。KTeam的監(jiān)控系統(tǒng)，可直觀的顯示集群拓?fù)湟晥D，節(jié)點(diǎn)的閑忙狀態(tài)。節(jié)點(diǎn)性能視圖中用戶可通過圖形方式，監(jiān)控當(dāng)前節(jié)點(diǎn)各部件的狀態(tài)，包括CPU平均使用率、內(nèi)存使用率、磁盤剩余量，節(jié)點(diǎn)網(wǎng)絡(luò)吞吐率等。

HPC集群拓?fù)鋱D

圖4? HPC集群拓?fù)?/p>

1、高速計(jì)算節(jié)點(diǎn)采用前述服務(wù)器配置用于快速仿真；設(shè)計(jì)節(jié)點(diǎn)用于提供圖形環(huán)境，只繪制三維模型，不進(jìn)行運(yùn)算；

2、存儲節(jié)點(diǎn)提供數(shù)據(jù)共享及高速讀寫，預(yù)算充足情況下可選用集中式專業(yè)存儲如NetApp，Dell EMC，預(yù)算有限情況下可采用通用服務(wù)器搭建全閃存整列；

3、平臺管理軟件安裝于獨(dú)立服務(wù)器，用于統(tǒng)一管理平臺的仿真任務(wù)，提供大規(guī)模并發(fā)功能。作業(yè)并發(fā)功能集成于HFSS設(shè)計(jì)環(huán)境，不影響設(shè)計(jì)師設(shè)計(jì)習(xí)慣。

4、設(shè)計(jì)、計(jì)算、存儲采用萬兆網(wǎng)絡(luò)互連，降低數(shù)據(jù)傳輸延時(shí)，需要時(shí)也可升級至IB網(wǎng)絡(luò)。

?

客戶案例

某研究院天線設(shè)計(jì)室設(shè)備較為零散，多為仿真工作站，隨著部門任務(wù)增多，各型號平臺天線、相控陣天線及熱仿真等需求量不斷增加，經(jīng)常出現(xiàn)多用戶并行作業(yè)，所以造成了服務(wù)器使用沖突、處理能力有限、訪問速度慢等問題。
? ? ? ?下圖為客戶提供32×32＝1024個(gè)天線陣列單元在高性能設(shè)計(jì)平臺進(jìn)行HFSS仿真測試的結(jié)果。

模型測試條件如下：

仿真計(jì)算時(shí)長為原環(huán)境的三分之一：

基于客戶以上出現(xiàn)的痛點(diǎn)，基爾科技通過為客戶搭建HPC設(shè)計(jì)平臺，極大改善了客戶仿真時(shí)效、運(yùn)算能力、數(shù)據(jù)管理、操作環(huán)境等嚴(yán)重滯后的情況。

審核編輯 ：李倩