異構混訓整合不同架構芯片資源，提高算力利用率

電子發(fā)燒友網(wǎng)報道（文/李彎彎）隨著AI技術的飛速發(fā)展，大模型的訓練和推理任務對算力的需求日益增長。然而，單一品牌的芯片往往難以滿足所有需求，且可能存在供應鏈風險。因此，異構芯片混訓成為了一種重要的解決方案。通過混合使用多種異構芯片，可以充分利用不同芯片的優(yōu)勢，提高算力利用率，降低算力成本，并推動AI技術的廣泛應用。

異構混訓能夠整合不同架構芯片資源

在2024年世界人工智能大會AI基礎設施論壇上，無問芯穹聯(lián)合創(chuàng)始人兼CEO夏立雪發(fā)布了全球首個千卡規(guī)模異構芯片混訓平臺，千卡異構混合訓練集群算力利用率最高達到了97.6%。

同時，無問芯穹Infini-AI云平臺已集成大模型異構千卡混訓能力，是全球首個可進行單任務千卡規(guī)模異構芯片混合訓練的平臺，具備萬卡擴展性，支持包括AMD、華為昇騰、天數(shù)智芯、沐曦、摩爾線程、NVIDIA六種異構芯片在內的大模型混合訓練。通過Infini-AI云平臺，用戶可以在異構算力資源上實現(xiàn)高效的模型訓練和推理，從而加速AI應用的開發(fā)和部署。

據(jù)稱，已有智譜AI、月之暗面、生數(shù)科技等大模型公司客戶在Infini-AI上穩(wěn)定使用異構算力，還有20余家AI Native應用創(chuàng)業(yè)公司在Infini-AI上持續(xù)調用各種預置模型。

異構混訓平臺具有多樣化算力資源、高效算力分配、靈活性與可擴展性、降低總體擁有成本（TCO）、推動技術創(chuàng)新和生態(tài)整合等特點。

具體來看，異構混訓平臺能夠整合來自不同廠商、不同架構的芯片資源，這些芯片在各自擅長的領域具有不同的性能優(yōu)勢。通過智能的調度算法和任務分發(fā)機制，異構混訓平臺能夠根據(jù)任務的特性和需求，將最適合的算力資源分配給相應的芯片，從而實現(xiàn)算力資源的最大化利用。

異構混訓平臺支持多種芯片和算法的組合使用，能夠靈活應對不同規(guī)模、不同復雜度的訓練任務。同時，它也具備較高的可擴展性，能夠根據(jù)實際需求進行算力資源的動態(tài)擴展。通過整合不同架構的芯片資源，避免對單一硬件平臺的過度依賴，異構混訓平臺能夠降低供應鏈風險，并通過提高算力利用率和訓練效率來降低總體擁有成本。

異構混訓平臺為AI技術創(chuàng)新提供了更加廣闊的舞臺，通過整合不同芯片和算法的優(yōu)勢資源，可以激發(fā)更多的創(chuàng)新靈感和技術突破。同時，它也有助于打破不同硬件生態(tài)系統(tǒng)之間的壁壘，促進生態(tài)整合與協(xié)同發(fā)展。

異構混訓在AI領域的需求日益凸顯

近年來，隨著人工智能技術的不斷發(fā)展，大模型的參數(shù)量急劇增加，從十億、百億到千億甚至萬億級別。以ChatGPT、LLama等為代表的大模型技術正持續(xù)推動社會變革，引發(fā)新一輪人工智能熱潮。這些大模型具有數(shù)千億甚至上萬億參數(shù)規(guī)模，單個計算節(jié)點無法滿足訓練需求，訓練過程耗時巨大。

面對如此龐大的模型，傳統(tǒng)的同構算力集群已經(jīng)無法滿足訓練需求。即使采用分布式訓練框架，也需要充分整合可調動的算力資源進行分布式并行加速。然而，由于不同廠商的智算芯片之間存在計算架構、緩存資源、互聯(lián)方式等諸多差異，以及AI計算框架與各廠商基礎軟件棧深度綁定，導致多種智算芯片難以協(xié)同工作，限制了算力資源的充分利用。

異構芯片混訓成了解決算力限制的重要方式，目前已經(jīng)有諸多應用案例。如，醫(yī)療機構采用異構芯片混訓平臺，將NVIDIA GPU、Intel CPU以及華為昇騰AI處理器等多種芯片混合使用。通過平臺的高效調度和算力分配，實現(xiàn)了對醫(yī)學影像數(shù)據(jù)的快速處理和分析。

異構芯片混訓平臺能夠顯著提高了醫(yī)療影像分析系統(tǒng)的處理速度和精度，為醫(yī)生提供了更加準確和及時的診斷支持。

自動駕駛汽車研發(fā)公司采用異構芯片混訓平臺，將AMD GPU、NVIDIA GPU以及專用AI加速器等多種芯片混合使用。通過平臺的異構并行訓練能力，實現(xiàn)了對自動駕駛算法模型的高效訓練和優(yōu)化。

異構芯片混訓平臺能顯著提高自動駕駛算法模型的訓練速度和精度，為自動駕駛汽車的研發(fā)提供了有力支持。同時，通過降低算力成本和提高資源利用率，也可以幫助公司加快自動駕駛技術的商業(yè)化進程。

寫在最后

當然，在異構芯片混訓過程中，可能會面臨一些技術挑戰(zhàn)，如不同芯片間的通信問題、性能差異等。為了解決這些問題，可以采取相應的措施，如建立通用的集合通信庫，實現(xiàn)不同種芯片的高效通信，兼容多種硬件；提出基于流水線并行的非均勻拆分方案，解決不同硬件效率不一樣的問題，針對自身情況分配最適合的任務等。