百度王海峰：深度學(xué)習(xí)平臺+大模型，產(chǎn)業(yè)智能化基座

11月30日，由深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程研究中心主辦的Wave Summit+ 2022深度學(xué)習(xí)開發(fā)者峰會如期舉行。鵬城實驗室主任、中國工程院高文院士，深圳大學(xué)電子與信息工程學(xué)院院長、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程研究中心技術(shù)委員會副主任、中國工程院丁文華院士受邀致辭，百度首席技術(shù)官、深度學(xué)習(xí)技術(shù)及應(yīng)用國家工程研究中心主任王海峰發(fā)表題為《深度學(xué)習(xí)平臺加大模型，產(chǎn)業(yè)智能化基座》的主旨演講。

（以下為發(fā)言全文）

尊敬的各位專家、開發(fā)者朋友們，大家好！

歡迎大家來參加Wave Summit深度學(xué)習(xí)開發(fā)者峰會。非常感謝高文院士和丁文華院士對Wave Summit和飛槳的支持，感謝各位專家和開發(fā)者朋友們的支持。我今天分享的題目是，深度學(xué)習(xí)平臺加大模型，產(chǎn)業(yè)智能化基座。我們堅持在技術(shù)上突破創(chuàng)新，在生態(tài)上培育耕耘，夯實智能化基座，讓每一位開發(fā)者、讓致力于科技創(chuàng)新和產(chǎn)業(yè)發(fā)展的社會各界，都能夠在自主的基礎(chǔ)底座上大展宏圖，努力實現(xiàn)高水平科技自立自強(qiáng)，推動經(jīng)濟(jì)社會高質(zhì)量發(fā)展。

開發(fā)者、科研院所、企事業(yè)單位、技術(shù)伙伴、硬件廠商，等等，都是飛槳生態(tài)的建設(shè)者和受益者。飛槳構(gòu)建了全方位的生態(tài)體系，包括開發(fā)者生態(tài)、硬件生態(tài)、教育生態(tài)、企業(yè)生態(tài)等，產(chǎn)學(xué)研協(xié)同，共創(chuàng)、共生、共贏。

硬件生態(tài)方面，飛槳與合作伙伴從共聚、共研，到共創(chuàng)，2020年，聯(lián)合發(fā)起硬件生態(tài)圈，促進(jìn)AI產(chǎn)業(yè)鏈的適配升級；2021年，推進(jìn)軟硬一體聯(lián)合優(yōu)化，適配飛槳的芯片超過30種，支持的國產(chǎn)硬件數(shù)量位居第一；2022年，推進(jìn)“硬件生態(tài)共創(chuàng)計劃”，今天，將聯(lián)合發(fā)布飛槳生態(tài)發(fā)行版產(chǎn)品，軟硬件協(xié)同深度優(yōu)化，更好地服務(wù)開發(fā)者，實現(xiàn)生態(tài)繁榮共贏。

飛槳自2016年開源以來，持續(xù)創(chuàng)新突破，不斷降低AI開發(fā)和應(yīng)用門檻。開源貢獻(xiàn)者、合作伙伴，遍布海內(nèi)外。飛槳結(jié)合區(qū)域產(chǎn)業(yè)特色，與生態(tài)合作伙伴一起，服務(wù)千行百業(yè)；與高校、企業(yè)等合作培養(yǎng)復(fù)合型人才。我們胸懷共同的技術(shù)理想，天涯若比鄰。

在這里，我非常高興地跟大家分享，截至目前，飛槳已經(jīng)凝聚了535萬開發(fā)者，服務(wù)20萬家企事業(yè)單位，基于飛槳創(chuàng)建了67萬個模型。飛槳的成績，是大家共同努力的結(jié)果，也驗證了深度學(xué)習(xí)生態(tài)的發(fā)展繁榮。那么，在技術(shù)持續(xù)突破、產(chǎn)業(yè)亟需再上新臺階的當(dāng)下，產(chǎn)業(yè)智能化如何更進(jìn)一步？

我認(rèn)為，深度學(xué)習(xí)平臺加上大模型，貫通了從硬件適配、模型訓(xùn)練、推理部署，到場景應(yīng)用的AI全產(chǎn)業(yè)鏈，夯實了產(chǎn)業(yè)智能化基座，會進(jìn)一步加速產(chǎn)業(yè)智能化升級。

我之前多次提到，深度學(xué)習(xí)平臺是基礎(chǔ)共性平臺，下接芯片，上承應(yīng)用，起到承上啟下的作用，相當(dāng)于智能時代的操作系統(tǒng)，有力支撐產(chǎn)業(yè)智能化升級。

而大模型的出現(xiàn)，為人工智能進(jìn)一步發(fā)展帶來新機(jī)遇。它的效果好，泛化能力強(qiáng)，大規(guī)模預(yù)訓(xùn)練加精調(diào)的研發(fā)流程，標(biāo)準(zhǔn)化程度高。同時，大模型也對深度學(xué)習(xí)模型的開發(fā)、訓(xùn)練和推理部署提出了更高要求，牽引深度學(xué)習(xí)平臺的發(fā)展方向。

但是，大模型應(yīng)用也面臨技術(shù)門檻高的挑戰(zhàn)。

首先是數(shù)據(jù)規(guī)模大，且數(shù)據(jù)質(zhì)量參差不齊；其次是模型的體積大，算法難度很高；第三是算力規(guī)模大，性能要求高。因此，大模型研發(fā)，依賴算法、算力和數(shù)據(jù)的綜合支撐。

面對挑戰(zhàn)，如何實現(xiàn)大模型的產(chǎn)業(yè)化呢？

我認(rèn)為，具有算法、算力和數(shù)據(jù)綜合優(yōu)勢的企業(yè)，可以將模型生產(chǎn)的復(fù)雜過程封裝起來，通過低門檻、高效率的生產(chǎn)平臺，為千行百業(yè)提供大模型服務(wù)。這樣，大數(shù)據(jù)、大算力、大模型能力僅需少數(shù)企業(yè)操心，千行百業(yè)直接應(yīng)用即可。

這樣的產(chǎn)業(yè)化路徑，已經(jīng)在我們的大模型產(chǎn)業(yè)實踐中得到驗證。

這張圖，是最新的文心產(chǎn)業(yè)級知識增強(qiáng)大模型全景，包括以鵬城-百度文心為代表的通用大模型，以及跨模態(tài)大模型、生物計算大模型，聯(lián)合共建的行業(yè)大模型，還有輔助大模型適配場景應(yīng)用的工具套件，大模型API平臺、基于大模型的產(chǎn)品、探索生態(tài)共建的創(chuàng)意社區(qū)等。

行業(yè)大模型方面，以文心通用大模型為基礎(chǔ)，從行業(yè)及企業(yè)的特有數(shù)據(jù)和知識中，融合學(xué)習(xí)，模型能力進(jìn)一步增強(qiáng)，取得了很好的應(yīng)用效果，幫助企業(yè)降本增效，加速智能化升級。

我們已經(jīng)與合作伙伴共建了多個行業(yè)大模型，覆蓋制造、能源、航天、金融、傳媒等領(lǐng)域，為創(chuàng)新發(fā)展添薪續(xù)力。

在大模型的產(chǎn)業(yè)實踐中，一方面加強(qiáng)大模型技術(shù)突破，聯(lián)合研制行業(yè)大模型，建設(shè)配套的工具平臺；另一方面，支撐大模型開發(fā)、訓(xùn)練和推理部署的深度學(xué)習(xí)平臺，也在持續(xù)進(jìn)化。

飛槳是產(chǎn)業(yè)級深度學(xué)習(xí)開源開放平臺，集核心框架、產(chǎn)業(yè)級模型庫、開發(fā)套件、工具組件，以及學(xué)習(xí)和實訓(xùn)社區(qū)于一體，能夠標(biāo)準(zhǔn)化、自動化地支撐模型生產(chǎn)和應(yīng)用。

今天，我們也升級了飛槳平臺，“大模型訓(xùn)推一體”開發(fā)套件，讓大模型研發(fā)更便捷高效；“全場景AI部署工具”，性能好、簡單易用，解決模型部署中的痛點問題。全新升級的飛槳平臺，將更好的支持大模型研發(fā)與產(chǎn)業(yè)應(yīng)用。

對于開發(fā)訓(xùn)練，飛槳動靜統(tǒng)一的開發(fā)范式，以及自適應(yīng)分布式架構(gòu)，實現(xiàn)大模型的靈活開發(fā)和高效訓(xùn)練。

推理部署方面，飛槳支持大模型高效推理，并提供服務(wù)化部署能力。為了適配更多場景、更苛刻環(huán)境、更極致推理性能，飛槳一方面通過計算融合等方式進(jìn)行全方位性能優(yōu)化；另一方面通過軟硬協(xié)同的稀疏量化進(jìn)一步加速。同時，飛槳提供蒸餾裁剪等豐富的壓縮策略，將模型進(jìn)一步小型化，實現(xiàn)高效部署。

為了讓大模型產(chǎn)業(yè)落地更高效便捷，飛槳提供了全套的產(chǎn)業(yè)化工具與平臺，支持大模型的多樣化應(yīng)用。

“大模型開發(fā)套件”，支持大模型高效訓(xùn)練、便捷推理全流程，適配多硬件多平臺，大幅降低大模型的研發(fā)門檻?！皥鼍澳Ｐ蜕a(chǎn)線”，高效構(gòu)建與快速迭代基于大模型的多樣化場景模型，讓大模型的落地像流水線一樣高效；內(nèi)置的數(shù)十個模型生產(chǎn)線可以開箱即用，極大降低了大模型的應(yīng)用門檻。

總結(jié)一下，深度學(xué)習(xí)平臺加大模型，貫通AI全產(chǎn)業(yè)鏈，夯實智能化基座。飛槳加文心大模型，加速產(chǎn)業(yè)智能化。

接下來，我的同事們將為大家?guī)砦男拇竽Ｐ图帮w槳平臺的重要發(fā)布和升級，敬請期待！

愿與大家一起共饗Wave Summit盛會，共襄科技創(chuàng)新盛舉！謝謝大家！