關(guān)于ARM服務(wù)器生態(tài)分析和未來(lái)的發(fā)展

來(lái)源：本文由半導(dǎo)體行業(yè)觀察翻譯自nextplatform，作者Paul Teich謝謝。

高通在幾周之前發(fā)布了 Centriq 服務(wù)器片上系統(tǒng)（SoC）。那場(chǎng)活動(dòng)的中心是 Centriq 的技術(shù)規(guī)格和定價(jià)，并且還揭示了該生態(tài)系統(tǒng)的大量合作伙伴和客戶。我曾經(jīng)介紹了三星用于 Centriq 的工藝并且該公司還在到處向其客戶推薦 Centriq，參閱：https://www.forbes.com/sites/tiriasresearch/2017/11/10/qualcomm-launches-into-server-market/#3a87043d44ef

盡管高通當(dāng)時(shí)是在發(fā)布自己的 Centriq 2400 處理器，而并不是重點(diǎn)關(guān)注那些會(huì)使用該參考設(shè)計(jì)（reference design）的硬件合作伙伴，但高通還是選擇將其 Centriq 發(fā)布會(huì)的重點(diǎn)放在了生態(tài)系統(tǒng)的發(fā)展上，其中高通還著重強(qiáng)調(diào)了軟件工作負(fù)載和合作伙伴關(guān)系。因?yàn)楫?dāng)今很多的云負(fù)載組合都基于運(yùn)行時(shí)環(huán)境（即使用容器、解釋型語(yǔ)言等），所以比起操作系統(tǒng)和編譯器，發(fā)布一款新芯片更需要的是生態(tài)系統(tǒng)支持。

我們相信高通在高價(jià)值工作負(fù)載和應(yīng)用上重點(diǎn)關(guān)注生態(tài)系統(tǒng)的戰(zhàn)略是健全合理的。Centriq 2400 發(fā)布會(huì)展示了很多 64 位 ARM 數(shù)據(jù)中心工作負(fù)載——我們從未看過(guò)這么多工作負(fù)載集中在同一個(gè)地方。

實(shí)際上在高通的 Centriq 發(fā)布會(huì)上還是有很多硬件。在該發(fā)布會(huì)上給出的所有演示都是由基于高通 Centriq 參考設(shè)計(jì)的現(xiàn)場(chǎng)服務(wù)器或基于云的服務(wù)器（基本托管在 Packet.net 上）所驅(qū)動(dòng)的。本文將重點(diǎn)關(guān)注對(duì)高通在其發(fā)布會(huì)上和之后一周舉辦的 SC17 全球超級(jí)計(jì)算大會(huì)上提到的系統(tǒng)、軟件和解決方案所準(zhǔn)備的技術(shù)。

高通的 Anand Chandrasekher 展示 Centriq 2400 晶圓和封裝

參考主板和平臺(tái)讓系統(tǒng)生態(tài)系統(tǒng)成為可能

高通的 Centriq 參考主板設(shè)計(jì)是一種半寬主板，可以放進(jìn)各種 1U 機(jī)箱中。該主板參考設(shè)計(jì)還符合開放計(jì)算項(xiàng)目（OCP）的 Project Olympus 的規(guī)格，該規(guī)格來(lái)自微軟 Azure。

高通的參考平臺(tái)也可以將參考主板放進(jìn)一個(gè)全寬機(jī)箱中，這樣合作伙伴和客戶就可以評(píng)估雙主板配置以及存儲(chǔ)豐富的配置。

我們看到有多個(gè)版本的高通參考平臺(tái)，但僅有一個(gè)獨(dú)特的第三方設(shè)計(jì)。

高通 Centriq 參考平臺(tái)前面板

在發(fā)布會(huì)上配置成存儲(chǔ)服務(wù)器的高通 Centriq 參考平臺(tái)

在 SC17 上配置為雙節(jié)點(diǎn)計(jì)算所配置的高通 Centriq 參考平臺(tái)

另外，Open19 基金會(huì)的總裁兼董事會(huì)主席 Yuval Bachar 也選擇在高通的 Centriq 發(fā)布會(huì)上展示我們已經(jīng)公開看過(guò)的其第一款 Open19 機(jī)箱。我們確實(shí)也在 SC17 上看到了另一種相競(jìng)爭(zhēng)的 Open19 計(jì)算機(jī)箱，但那是沒(méi)太多人關(guān)注的 ODM 設(shè)計(jì)。可以想見未來(lái)幾個(gè)月還會(huì)有更多設(shè)計(jì)出現(xiàn)。

在發(fā)布會(huì)上帶有高通 Centriq 2400 主板的 Open19 演示機(jī)箱

Centriq 最重要的一個(gè)方面看起來(lái)很平淡無(wú)奇：Centriq 2400 的閑置功耗為 8W，峰值功耗為 120W，不需要液冷來(lái)實(shí)現(xiàn)高計(jì)算密度。我們?cè)诎l(fā)布會(huì)和 SC17 上都看到了生產(chǎn)型的風(fēng)冷 Centriq 2400 散熱器。

高通 Centriq 參考設(shè)計(jì)，左圖為帶有風(fēng)冷散熱片的，右圖為不帶的

帶有風(fēng)冷散熱片的高通 Centriq 2400 的特寫

高通在三月份的 OCP 峰會(huì)上展示過(guò)其參考主板的 Rev B（B 版本）。我們?cè)诎l(fā)布會(huì)上看到了 Rev C 主板，然后高通在 ARM 的 SC17 展位上展出了一塊 Rev E 主板。電路板設(shè)計(jì)師忘記將下面照片中的文本改成 Rev C，但其主板編號(hào)表明它確實(shí)是 Rev C。

主板版本可以表明實(shí)現(xiàn)生產(chǎn)可行的系統(tǒng)的進(jìn)展。注意這些主板的顏色變化：從 Rev B 和 C 的紅色變成了 Rev E 的藍(lán)色。這種顏色變化表明客戶可以評(píng)估乃至也許可以部署 Rev E 了。

高通 Centriq 參考主板版本

該參考平臺(tái)包含一個(gè)靈活的電源分配板，我們?cè)谄渖险业搅藥讉€(gè)在發(fā)布會(huì)和 SC17 上提到的 Centriq 參考設(shè)計(jì)。

高通 Centriq 參考電源分配板

實(shí)現(xiàn)插件生態(tài)系統(tǒng)的插卡

高通設(shè)計(jì)的 Centriq 參考平臺(tái)支持兼容 OCP Olympus 的插卡擴(kuò)展。插卡擴(kuò)展讓兼容 OCP Olympus 的高通 Centriq 主板在 1U 機(jī)箱的配置中能有很多選擇。

這種 1U 高度的 PCI-Express x16 插槽支持范圍廣泛的 PCI-Express 附加[add-in 翻譯為 附加。附加卡，附加板]卡，支持 1U 機(jī)箱中的多種實(shí)際配置。其它三種 Project Olympus 主板規(guī)格中沒(méi)有任何一種定義了 Centriq 2400 規(guī)格那樣多的插卡類型。

OCP 通用主板插卡（來(lái)自：高通）

高通當(dāng)前的 Centriq OCP Project Olympus 通用主板規(guī)格定義了 6 種插卡類型：

1.在主板上方連接單個(gè) PCI-Express x16 電子和機(jī)械附加卡，其中帶有主要元件的一面朝上，遠(yuǎn)離主板。

2.在主板上方連接單個(gè) PCI-Express x8 電子和機(jī)械附加卡，其中帶有主要元件的一面朝上，遠(yuǎn)離主板，并且通過(guò)其 PCI-Express x8 連接器還在該插卡的背面增加了一個(gè) M.2 插槽。

3.在主板上方將單個(gè) PCI-Express x8 電子附加卡與 x16 機(jī)械附加卡連接到一起，其中帶有主要元件的一面朝上，遠(yuǎn)離主板。在該插卡上第 2 種類型中 M.2 插槽的位置有一個(gè) x8 OcuLink 線連接頭，可以在機(jī)箱內(nèi)通過(guò)線纜擴(kuò)展 PCI-Express。

4.將兩個(gè) PCI-Express x8 電子附加卡與 x16 機(jī)械附加卡連接到一起，該插卡兩面各有一個(gè)，都面朝上，遠(yuǎn)離主板。

5.連接單個(gè) PCI-Express x16 電子和機(jī)械附加卡，遠(yuǎn)離主板，其中帶有主要元件的一面朝下，從而最大化機(jī)箱底部和附加板之間的空氣量。這種插卡是專為增加高通的 “MegaCard” NVM-Express 夾層而設(shè)計(jì)的。這款插卡包含一個(gè) PCI-Express x1 控制線，連接到了 MegaCard 上的 PCI-Express 開關(guān)芯片。

6.連接單個(gè) PCI-Express x16 電子和機(jī)械附加卡，遠(yuǎn)離主板，其中帶有主要元件的一面朝下，留下最大化的機(jī)箱空間，可以在 Centriq 主板旁邊放入一個(gè)全尺寸、全功率（300 W）的 GPU 或 FPGA 加速板卡。

在過(guò)去幾周中展示的第 1 類插卡和電源分配板都是 Rev B 評(píng)估型的原型設(shè)計(jì)。

在發(fā)布會(huì)和 SC17 上展示了兩種類型的附加卡：Mellanox 網(wǎng)絡(luò)附加卡（上面和下面的多個(gè)系統(tǒng)中都有）和高通的 MegaCard。

帶有 OCP 第 1 類 PCI-Express 插卡（紅色）的高通 Centriq 2400 主板，其中一個(gè)插卡上帶有一個(gè)網(wǎng)卡（右邊帶有黑色散熱片的卡），這是在 SC17 上看到的

高通的 MegaCard 支持 20 個(gè) M.2 NVM-Express 存儲(chǔ)卡，在 MegaCard 每一面各 10 個(gè)。NVM-Express 卡連接著一個(gè)MicroSemi PM8536 PCI-Express 3.0 轉(zhuǎn)換器。這個(gè)轉(zhuǎn)換器通過(guò)上面提到的 PCI-Express x16 第 5 類插卡連接到高通 Centriq 主板上。因?yàn)?10 個(gè) M.2 卡需要一定的主板面積，所以 MageCard 會(huì)在全寬 1U 機(jī)箱中占據(jù)另一個(gè) Centriq 2400 主板的位置；PCI-Express 連接頭在第 1 類型插卡的另一面，并且安裝在該插卡上更高的位置。高端 NVM-Express 硬盤有 4TB 容量，所以高通的 MegaCard 可以支持 80TB 的 PCI-Express 3.0 NVM-Express 存儲(chǔ)。

高通MegaCard 特寫（上圖），安裝在參考設(shè)計(jì)機(jī)箱中的樣子（下圖）（來(lái)自：高通）

插卡讓高通 Centriq OCP 系統(tǒng)客戶可以使用種類繁多的第三方附加板。附加板擴(kuò)展將能讓基于 Centriq 的系統(tǒng)實(shí)現(xiàn)計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)擴(kuò)展功能，還能將負(fù)載遷移到加速器上。

在 Centriq 發(fā)布會(huì)上，高通強(qiáng)調(diào)了應(yīng)用和工作負(fù)載的重要性。高通及其合作伙伴在發(fā)布會(huì)上為此設(shè)置了二十幾個(gè)展示臺(tái)。

高通的目標(biāo)是能夠很好擴(kuò)展的高度線程化的工作負(fù)載。對(duì)于搜索、內(nèi)容交付網(wǎng)絡(luò)和內(nèi)存密集型的數(shù)據(jù)分析等容器化的、基于微服務(wù)的應(yīng)用而言，高通的高線程數(shù)和高內(nèi)存帶寬的架構(gòu)是非常適用的。

高通 Centriq 發(fā)布會(huì)上的展示

兩家數(shù)據(jù)庫(kù)公司展示了運(yùn)行在高通 Centriq 2400 上的性能擴(kuò)展數(shù)據(jù)：MariaDB 和 ScyllaDB。

MariaDB 是一個(gè)開源的 SQL（關(guān)系）聯(lián)機(jī)事務(wù)處理（OLTP）數(shù)據(jù)庫(kù)。Centriq 2400 的高核心數(shù)讓 MariaDB 每個(gè)連接模型的一個(gè)線程可以很好地?cái)U(kuò)展；MariaDB 的內(nèi)部測(cè)試表明：在一個(gè) 48 核的 Centriq 2400 處理器上，可以近乎線性地?cái)U(kuò)展成 46 個(gè)并發(fā)的數(shù)據(jù)庫(kù)會(huì)話。剩下的幾個(gè)核心專用于管理任務(wù)（housekeeping tasks）。

MariaDB 演示截屏（來(lái)自：MariaDB）

每個(gè) MariaDB 會(huì)話在每個(gè)核心上都實(shí)現(xiàn)了每秒平均 10 000 次查詢，使得每個(gè) Centriq 2400 服務(wù)器節(jié)點(diǎn)每秒可實(shí)現(xiàn)多達(dá) 420 000 次查詢。由于每個(gè)核心只有一點(diǎn)開銷，所以管理任務(wù)可以分散出去，并且單個(gè) Centriq 2400 服務(wù)器節(jié)點(diǎn)就可以提供 48 個(gè)并發(fā)會(huì)話。

用于 Centriq 2400 服務(wù)器處理器的 MariaDB Server 10.2 現(xiàn)在已經(jīng)可用了。

ScyllaDB 演示表現(xiàn)結(jié)果（來(lái)自 ScyllaDB）

ScyllaDB 是一種開源的非 SQL 數(shù)據(jù)庫(kù)，實(shí)現(xiàn)了兼容 Apache Cassandra 的接口；ScyllaDB 可以直接替代 Cassandra。ScyllaDB 使用一種高性能的 C++ 實(shí)現(xiàn)替代了 Cassandra 的 JVM 運(yùn)行時(shí)依賴。這種 ScyllaDB 實(shí)現(xiàn)是無(wú)鎖的、無(wú)共享（shared nothing）的設(shè)計(jì)，可以通過(guò)讓每個(gè)核心處理一個(gè)數(shù)據(jù)庫(kù)分片來(lái)實(shí)現(xiàn)擴(kuò)展。本地內(nèi)存管理可以實(shí)現(xiàn)一致的低于毫秒的每分片內(nèi)存延遲。

ScyllaDB 對(duì)其運(yùn)行在三個(gè) Centriq 2400 服務(wù)器節(jié)點(diǎn)上的數(shù)據(jù)庫(kù)進(jìn)行了基準(zhǔn)研究。根據(jù) boot 設(shè)置，其中每個(gè)節(jié)點(diǎn)的活躍核心數(shù)在 10 到 40 之間變化。這項(xiàng)研究表明在三個(gè)系統(tǒng)上的性能可以擴(kuò)展超過(guò) 100 萬(wàn) IOPS（每秒讀寫操作數(shù)），并且隨著每個(gè)節(jié)點(diǎn)的核心數(shù)增加至 40，其性能是線性擴(kuò)展的。

Excelero 是一家 NVM-Express 模塊化存儲(chǔ)服務(wù)器創(chuàng)業(yè)公司，該公司宣布已經(jīng)得到了來(lái)自 Qualcomm Ventures（高通風(fēng)險(xiǎn)投資）的戰(zhàn)略投資并且展示了其運(yùn)行在 Centriq 上的產(chǎn)品。MegaCard 似乎非常適合 Excelero 的應(yīng)用，而且可能還能加速 MariaDB 和 ScyllaDB 等數(shù)據(jù)庫(kù)。

微軟 Azure 的杰出工程師 Leendert van Doorn 在演講中還提到：Azure 很看重 Centriq 2400 用于搜索結(jié)果和實(shí)現(xiàn)大內(nèi)存數(shù)據(jù)庫(kù)的吞吐處理。van Doorn 指出對(duì)于沒(méi)有參考位置的查詢（其中每個(gè)查詢都有可能訪問(wèn)該數(shù)據(jù)庫(kù)的不同部分，他將其描述為“在數(shù)據(jù)庫(kù)中隨機(jī)游走”），每個(gè)核心都有突出內(nèi)存系統(tǒng)需求的大量核心能在內(nèi)存系統(tǒng)上實(shí)現(xiàn)更高的綜合性能。

Synopsys 展示了其運(yùn)行在 Centriq 2400 上的 VCS 驗(yàn)證仿真和設(shè)計(jì)包。這只是一個(gè)演示。Synopsys 的營(yíng)銷副總裁 Michael Sanie 說(shuō)用 VCS 來(lái)進(jìn)行演示很容易并且可以在 Centriq 2400 上順暢地運(yùn)行。Sanie 很謹(jǐn)慎地沒(méi)有將該演示稱為 VCS 的一種“移植（port）”，因?yàn)橐浦簿鸵馕吨{(diào)試的承諾和質(zhì)量保證。他說(shuō) Synopsys 會(huì)為一次移植運(yùn)行“成千上萬(wàn)次”回歸測(cè)試。但他確實(shí)說(shuō)了他不認(rèn)為進(jìn)行 64 位 ARM 移植有什么問(wèn)題，而且 Synopsys 正在研究將其整個(gè)平臺(tái)移植到 64 位 ARM 處理器上的可行性。Synopsys 和高通已有很長(zhǎng)時(shí)間的合作伙伴關(guān)系，我可以預(yù)見 Synopsys 最終會(huì)支持“在高通上運(yùn)行高通（Qualcomm runs on Qualcomm）”的計(jì)劃，就像是 AMD 在 2000 年代推出其 Opeteron 產(chǎn)品線一樣。

Cadence 宣布其正在發(fā)售用于 ARM 64 位處理器的 Xcelium 設(shè)計(jì)仿真和驗(yàn)證軟件應(yīng)用程序，并且也展示了運(yùn)行在 Centriq 2400 上的 Xcelium。Xcelium 運(yùn)行在 SUSE Linux Enterprise 操作系統(tǒng)上。

賽靈思演示截屏

賽靈思展示了一款運(yùn)行在 Centriq 2400 上的機(jī)器學(xué)習(xí) Virtex Ultrascale+ FPGA 推理加速棧。機(jī)器學(xué)習(xí)對(duì)吞吐量和延遲都很敏感。高通和賽靈思已經(jīng)合作了多年，并且還在 CCIX 和其它數(shù)據(jù)中心之外的技術(shù)上開展合作。同樣，F(xiàn)PGA 加速將會(huì)成為在高通數(shù)據(jù)中心基礎(chǔ)設(shè)施上運(yùn)行高通的芯片設(shè)計(jì)的關(guān)鍵組成部分。

SmarCo 視頻轉(zhuǎn)換演示

SmarCo 展示了其“一體式”機(jī)器學(xué)習(xí)平臺(tái)，該平臺(tái)基于高通內(nèi)部一款 Centriq 2400 參考主板設(shè)計(jì)的變體。SmarCo 使用了基于 PCI-Express 的 FPGA 加速器卡來(lái)執(zhí)行高吞吐量的視頻圖像處理，并且還使用了該公司專有的 SSM3500 PCI-Express 卡（上面有該公司自己的 SmarCo-2 視頻處理芯片）來(lái)進(jìn)行視頻轉(zhuǎn)換。SmarCo 宣稱在基于 Centriq 2400 的平臺(tái)上的圖像轉(zhuǎn)換速度比相當(dāng)?shù)?x86 平臺(tái)快 4 倍，圖像檢測(cè)的速度也快大約 1.5 倍。

SmarCo 圖像檢測(cè)演示

高通參考主板的 SmarCo “AI All-in-one” 變體

Mellanox Technologies 和 6Wind 展示了網(wǎng)絡(luò)安全網(wǎng)關(guān)，該網(wǎng)關(guān)結(jié)合了 Centriq 參考平臺(tái)、Mellanox 當(dāng)前一代 ConnectX-5 2×40 Gb/sec NIC 和 6Wind 的基于 DPDK 的虛擬網(wǎng)絡(luò)功能（VNF）軟件。6Wind 在高通發(fā)布 Centriq 之前幾周才剛剛宣布支持 ARM 64 位處理器。

Mellanox 和 6Wind 展示 NFV 安全網(wǎng)絡(luò)（來(lái)自：6Wind）

6Wind 的 Virtual Accelerator 和 Turbo IPsec VNF 軟件的目的是為很好地使用在一個(gè)服務(wù)節(jié)點(diǎn)中的多個(gè)處理核心來(lái)進(jìn)行擴(kuò)展，其性能可隨核心數(shù)近乎線性的增長(zhǎng)。6Wind 運(yùn)行在 Centriq 2400 上的應(yīng)用使用了 Ubuntu 的 KVM 系統(tǒng)管理程序（hypervisor）和開源的 Grafana 度量分析和可視化套件。Mellanox 和 6Wind 還展示了一種 Telco Open NFV 實(shí)現(xiàn)。

SolarFlare 正在使用其 XtremeScale SDN 網(wǎng)絡(luò)接口卡和 Centriq 2400 服務(wù)器節(jié)點(diǎn)（每個(gè) 1U 機(jī)箱兩個(gè)節(jié)點(diǎn)）來(lái)為大規(guī)模分布式計(jì)算環(huán)境構(gòu)建其所謂的“神經(jīng)類網(wǎng)絡(luò)（neural class networks）”。每個(gè) NIC 支持多達(dá) 2048 個(gè)虛擬 LAN 連接，支持在單個(gè)機(jī)架中放置 76 個(gè) Centriq 2400 處理器（也就是 3648 個(gè)核心）。SolarFlare 正在 Centriq 2400 上運(yùn)行 NGINX 應(yīng)用交付平臺(tái)，并且表示還將會(huì)支持網(wǎng)絡(luò)托管和大數(shù)據(jù)分析。SolarFlare 已經(jīng)在部署基于 Centriq 的神經(jīng)類網(wǎng)絡(luò)了。

Chelsio 宣布 Centriq 2400 參考平臺(tái)已經(jīng)可以使用其 T6 Unified Wire 網(wǎng)絡(luò)解決方案了，該公司還展示了一款以太網(wǎng)適配器，其在高通的認(rèn)可供應(yīng)商列表（AVL）中。

Netronome 宣布 Centriq 2400 已可使用其 Agilio SmartNIC 和軟件。Agilio SmartNIC 可以將用于覆蓋、安全、負(fù)載平衡和遠(yuǎn)程測(cè)量等網(wǎng)絡(luò)功能的虛擬交換機(jī)和路由器數(shù)據(jù)路徑處理轉(zhuǎn)移到其它地方。Netronome 的目標(biāo)是讓包括電信公司在內(nèi)的云服務(wù)提供商采用其 Agilio with Centriq 解決方案。

Packet Networks 使用亞馬遜 Alexa 前端展示了它的全套工具，這些工具運(yùn)行在 Packet 數(shù)據(jù)中心中的 Centriq 2400 參考平臺(tái)上。Packet 已經(jīng)在向其軟件開發(fā)者（基礎(chǔ)是基礎(chǔ)設(shè)施即服務(wù)（IaaS）客戶）提供基于 ARM 的裸機(jī)服務(wù)器了。裸機(jī)服務(wù)器客戶關(guān)注的重點(diǎn)是他們所使用的特定硬件，因?yàn)槁銠C(jī)是單租戶實(shí)例（single tenant instance）；開發(fā)者必須清楚他們付錢買的是什么，以便得到能滿足他們需求的最高性能的基礎(chǔ)設(shè)施。Packet Networks 已經(jīng)在為其客戶托管 Centriq 2400 參考平臺(tái)了，盡管這些平臺(tái)還沒(méi)出現(xiàn)在 Packet 的裸機(jī)定價(jià)列表上。

此外，Illumina 展示了其運(yùn)行在 Centriq 2400 平臺(tái)上的高吞吐量生物信息工具。Canonical 展示了運(yùn)行在 Centriq 2400 上的 OpenStack 平臺(tái)，Red Hat 展示了運(yùn)行在 Centriq 2400 上的 Enterprise Linux for ARM。高通還展示了其內(nèi)部設(shè)計(jì)的 MongoDB 演示，其中有 Varnish 服務(wù)網(wǎng)絡(luò)應(yīng)用、HHVM 網(wǎng)絡(luò)服務(wù)器和 Spark 內(nèi)存社交圖譜。

從這里走向何方？

Anand Chandrasekher 在結(jié)束高通的演講時(shí)讓我們瞥見了 Centriq 的未來(lái)。遵照高通的執(zhí)行優(yōu)先（execute first）規(guī)則，他并沒(méi)說(shuō)太多。Chandrasekher 只是揭示了下一代 Centriq 核心和處理器的代號(hào)，分別是 Saphira 和 Firetail；并且證實(shí)第四代正在開發(fā)之中。（Centriq 2400 實(shí)際上是高通的第二代 SoC 設(shè)計(jì)。）

高通的 Centriq 大致路線圖

高通在 Centriq 發(fā)布會(huì)上帶來(lái)一個(gè)生態(tài)系統(tǒng)的策略是很合理的。在此之前，在服務(wù)器生態(tài)系統(tǒng)內(nèi)，還沒(méi)有誰(shuí)曾將 ARM 64 位數(shù)據(jù)中心生態(tài)系統(tǒng)的如此之多的部分放在同一個(gè)地方進(jìn)行展示，而且這些部分還處于如此先進(jìn)的開發(fā)階段。