Stability AI發(fā)布首個用于編程的生成式LLM AI產(chǎn)品—StableCode

Stability AI 近日宣布了他們首個用于編程的生成式 LLM AI 產(chǎn)品 ——StableCode。該產(chǎn)品旨在幫助程序員完成日常工作，并為新手開發(fā)者提供實用的學(xué)習(xí)工具。

官方介紹道，StableCode 提供了一種獨特的方式，通過使用三種不同的模型來幫助開發(fā)者編寫代碼，從而提示開發(fā)效率。

基礎(chǔ)模型 (base model)首先使用來自 BigCodestack-dataset(v1.2) 的多種編程語言進行訓(xùn)練，然后使用 Python、Go、Java、Javascript、C、markdown 和 C++ 等流行語言進行進一步訓(xùn)練。

總的來說，他們在 HPC 集群上使用 560B token 的代碼訓(xùn)練了模型。

建立好基礎(chǔ)模型后，Stability AI 針對特定用例調(diào)整指令模型 (instruction model)，以幫助解決復(fù)雜的編程任務(wù)。

為了實現(xiàn)這一結(jié)果，他們在基礎(chǔ)模型上訓(xùn)練了約 120,000 個 Alpaca 格式的代碼指令 / 響應(yīng)對 (instruction/response)。



使用 StableCode Instruct 生成對給定指令的響應(yīng)的代碼 對于那些想要了解更多編碼知識的開發(fā)者來說，StableCode 是理想的構(gòu)建塊，而長上下文窗口模型 (long-context window model)是確保用戶可以使用單行和多行自動完成建議的完美助手。

該模型旨在一次處理更多代碼（比之前發(fā)布的具有 16,000 個 token 的上下文窗口的開放模型多 2-4 倍），允許用戶同時查看或編輯相當(dāng)于最多 5 個平均大小的 Python 文件。

使其成為初學(xué)者想要迎接更大挑戰(zhàn)的理想學(xué)習(xí)工具。



StableCode 利用 Pytorch 深度學(xué)習(xí)庫完成一個相對復(fù)雜的 python 文件（灰色文本為 StableCode 的預(yù)測） 最后看看關(guān)于 StableCode 的評測數(shù)據(jù)：

審核編輯：劉清