谷歌發(fā)布語言模型PaLM2，突破3.6萬億個(gè)令牌的訓(xùn)練數(shù)量

人工智能和AI技術(shù)的應(yīng)用，是目前很大領(lǐng)域比較重視的部分，而至這個(gè)領(lǐng)域的谷歌也擁有不小的實(shí)力，就在近日，谷歌最新發(fā)布的語言模型PaLM2就具備很強(qiáng)的競爭力。

據(jù)悉，令牌是指訓(xùn)練大語言模型所使用的單詞串，它們對(duì)于教導(dǎo)模型如何預(yù)測字符串中可能出現(xiàn)的下一個(gè)單詞至關(guān)重要。

而在去年發(fā)布的上一代模型PaLM僅使用了7800億個(gè)令牌，而PaLM2則提升到了3.6萬億個(gè)令牌。同時(shí)PaLM2在編程、數(shù)學(xué)和創(chuàng)意寫作方面表現(xiàn)更為優(yōu)秀，得益于其龐大的訓(xùn)練數(shù)據(jù)。而這些也將有效提升用戶的工作效率，減輕工作量。

另據(jù)報(bào)道，PaLM2是基于3400億個(gè)參數(shù)進(jìn)行訓(xùn)練的，而初始版本的PaLM則基于5400億個(gè)參數(shù)，而這也造就PaLM2比現(xiàn)有的任何模型都更加強(qiáng)大。

該模型采用了一種名為“計(jì)算機(jī)優(yōu)化擴(kuò)張”的新技術(shù)，使得大語言模型具備更高的效率和整體性能，包括加快推理速度、減少參數(shù)調(diào)用和降低服務(wù)成本。

相信隨著社會(huì)科技的進(jìn)步，Ai技術(shù)的應(yīng)用也將給我們的生活帶來諸多的變化。

以上源自互聯(lián)網(wǎng)，版權(quán)歸原作所有