作者:文子
編輯:小迪
馬斯克又一大招,直逼OpenAI。
Grok-1.5突然發(fā)布,挑戰(zhàn)“勁敵”GPT-4
繼一周前開源GroK-1后,馬斯克又有了新動(dòng)作,再一次劍指OpenAI。
3月29日,馬斯克旗下xAI團(tuán)隊(duì)突然對外發(fā)布Grok-1.5大模型,主打就是一個(gè)“字少事大”。而這一次的動(dòng)作,明擺著也是沖著GPT-4去的。
從Grok-1.5的基準(zhǔn)測試結(jié)果來看,各項(xiàng)能力都有巨大的飛躍。其中最明顯的改進(jìn)之一就是在代碼和數(shù)學(xué)相關(guān)方面的性能,尤其是涵蓋了從小學(xué)到高中的各種競賽問題。
比如在MATH基準(zhǔn)測試中,Grok-1.5就取得50.6%的得分;在GSM8K基準(zhǔn)測試中,Grok-1.5更獲得90%的得分。
而在評估代碼生成和解決問題能力的HumanEval基準(zhǔn)測試中,Grok-1.5更是超越了GPT-4,得分高達(dá)74.1%,同時(shí)碾壓了一眾熱門的開源模型 Mistral Large、Claude 2等等。
另一個(gè)重要升級之一就是Grok-1.5改進(jìn)了推理能力,從原先的24 %提升至50%。該模型現(xiàn)在能夠在上下文窗口中處理高達(dá)128K token的長文本,這相當(dāng)于一部中篇小說的篇幅。這一改進(jìn)使得Grok的處理能力達(dá)到了之前上下文長度的16倍,進(jìn)而能夠充分利用長文檔中的信息。
此外,Grok-1.5模型還具備處理更長且更復(fù)雜的指令的能力,即便在上下文窗口擴(kuò)大時(shí),也能保持良好的指令遵循性。
無獨(dú)有偶,在Needle In A Haystack(NIAH)評估中,Grok-1.5還展現(xiàn)出了強(qiáng)大的信息檢索技能,能夠在一個(gè)包含128K字節(jié)的上下文中準(zhǔn)確檢索到嵌入的文本,并實(shí)現(xiàn)了完美的檢索結(jié)果。
根據(jù)xAI官方的介紹,Grok-1.5是基于JAX、Rust和Kubernetes構(gòu)建的定制分布式訓(xùn)練框架之上。在大型計(jì)算集群中,維持大規(guī)模語言模型(LLMs)訓(xùn)練作業(yè)的穩(wěn)定性和持續(xù)性是關(guān)鍵的挑戰(zhàn)之一。xAI團(tuán)隊(duì)開發(fā)的專屬訓(xùn)練協(xié)調(diào)器,具備自動(dòng)識別并隔離訓(xùn)練過程中出現(xiàn)的故障節(jié)點(diǎn)的先進(jìn)能力。
此外,xAI團(tuán)隊(duì)還對檢查點(diǎn)的創(chuàng)建、數(shù)據(jù)加載以及訓(xùn)練作業(yè)的重啟流程進(jìn)行了優(yōu)化,以降低故障帶來的停機(jī)時(shí)間。
在未來幾日內(nèi),Grok-1.5將向早期測試者和平臺用戶開放。隨著Grok-1.5逐漸普及至更廣泛的用戶群體,預(yù)計(jì)還將推出多項(xiàng)新功能。
全面對戰(zhàn)OpenAI,Grok-1.5開源成謎
要知道,這次Grok-1.5發(fā)布前,馬斯克因?yàn)槠鹪V了OpenAI不開源,所以選擇開源了3140 億參數(shù)的模型Grok-1,也是截至目前參數(shù)量最大的開源大語言模型,規(guī)模相當(dāng)于 Meta LlaMA 2 70B的4.4倍。
其實(shí)拋開馬斯克本身與OpenAI的恩怨情仇不講,Grok的開源決策并非倉促?zèng)Q定,而是經(jīng)過深思熟慮。
表面上看Grok占據(jù)著X平臺資源優(yōu)勢和馬斯克的影響力加持,但在大模型大爆發(fā)的當(dāng)下,卻并沒有在大模型的“軍備競賽”中有太多競爭優(yōu)勢。
特別是自2024年以來,Gemini、Claude 3等模型的發(fā)布,它們的能力已經(jīng)接近甚至超越了GPT-4,這三個(gè)模型基本上確立了行業(yè)的第一梯隊(duì)。再加上Mistral AI和Inflection AI也在積極追趕,大模型的“虹吸效應(yīng)”愈發(fā)顯著,留給馬斯克和Grok的時(shí)間已經(jīng)不多了。
在這種形勢下,如果Grok堅(jiān)持閉源開發(fā)的路線,它很可能會(huì)像之前諾基亞的Symbian系統(tǒng)一樣,被淘汰只是時(shí)間問題。這樣的結(jié)果不僅無法幫助馬斯克將X平臺商業(yè)化,還會(huì)成為一種昂貴的沉沒成本。
因此,擺在馬斯克面前的只剩下一條路,就是破釜沉舟用“開源”為Grok殺出一條血路。
月之暗面CEO楊植麟就曾表示,“如果我今天有一個(gè)領(lǐng)先的模型,開源出來,大概率不合理。反而是落后者可能會(huì)這么做,或者開源小模型,攪局嘛,反正不開源也沒價(jià)值。”
而Grok-1自開源5天后,在開源社區(qū)GitHub就獲得了高達(dá)4.2萬人的收藏,可見馬斯克這一步棋下的贏了民心。
所以哪怕目前Grok 團(tuán)隊(duì)并未表示Grok-1.5是否開源,但有Grok-1打了頭陣,再加上馬斯克和OpenAI的官司,Grok-1.5大概率是要開源的,也就是時(shí)間長短的問題。
“all in”和混戰(zhàn),AI反擊戰(zhàn)打響
如果用一句話來形容現(xiàn)在的AI領(lǐng)域,就是一群瘋子在“ALL IN”和混戰(zhàn)。全球主流大模型間的比拼,仍沒有減慢的跡象。大家你出你的牌,我出我的牌。
在這場混戰(zhàn)之中,從馬斯克批判GPT背后的大模型濫用會(huì)引發(fā)人類危機(jī),到親自下場參與大模型的開發(fā),再到開源Grok-1,這種反差的背后更多不是技術(shù)和理念差異,而是商業(yè)利益和政治風(fēng)向的變化。
馬斯克的目的也非常明確,就是和OpenAI硬剛到底,推出能夠匹敵ChatGPT的產(chǎn)品。
畢竟一旦GPT-4成功躍進(jìn)到GPT-5,其他AIGC工具也會(huì)跟著實(shí)現(xiàn)爆發(fā)式增長,而這一切都將會(huì)大幅抹去X計(jì)劃中的AI部分,到時(shí)馬斯克整個(gè)商業(yè)帝國的基石就會(huì)受到嚴(yán)重侵蝕。這種結(jié)果對馬斯克而言無論是商業(yè)考量還是個(gè)人心理層面都無法接受,也促使他立馬發(fā)布了現(xiàn)在的Grok-1.5。
在xAI的官網(wǎng)里也可以看到馬斯克的初創(chuàng)團(tuán)隊(duì)擁有12名核心成員,其中4名是華人。團(tuán)隊(duì)成員曾在人工智能領(lǐng)域的其他知名公司工作過,包括OpenAI、谷歌研究院、微軟研究院和最近并入谷歌的DeepMind,也有來自多倫多大學(xué)的AI領(lǐng)域頂級學(xué)者。
目前xAI也同步開啟了招人計(jì)劃,招攬AI相關(guān)的技術(shù)人才加入。
其實(shí)不止馬斯克在加緊腳步,被馬斯克視作“宿敵”的OpenAI也在緊鑼密鼓的研發(fā)大模型。就在最近,有微軟工程師爆料,10萬個(gè)H100基建正在緊鑼密鼓地建設(shè)中,目的就是為了訓(xùn)練GPT-6。
同時(shí),一張名為“OpenAI內(nèi)部時(shí)間線”的圖片也在網(wǎng)上瘋傳,里面清晰地標(biāo)注出,OpenAI早在2022年8月-10月之間就開始了GPT-5的訓(xùn)練,在2023年4月就已經(jīng)開始訓(xùn)練了GPT-4.5,而在去年9月就開始了GPT-6的測試。
所以無論消息是真是假,但有一點(diǎn)不可否認(rèn),馬斯克和OpenAI這場戰(zhàn)爭似乎看不到終點(diǎn)。
而馬斯克的2024年,還有好幾場硬仗要打。
審核編輯 黃宇
-
AI
+關(guān)注
關(guān)注
87文章
31285瀏覽量
269642 -
GPT
+關(guān)注
關(guān)注
0文章
354瀏覽量
15446 -
馬斯克
+關(guān)注
關(guān)注
1文章
829瀏覽量
21370 -
OpenAI
+關(guān)注
關(guān)注
9文章
1103瀏覽量
6597
發(fā)布評論請先 登錄
相關(guān)推薦
評論