近日,Meta在開源Llama 3.2的1B與3B模型后,再次為人工智能領(lǐng)域帶來了新進(jìn)展。10月24日,Meta正式推出了這兩個模型的量化版本,旨在進(jìn)一步優(yōu)化模型性能,拓寬其應(yīng)用場景。
據(jù)Meta介紹,量化后的Llama 3.2模型在大小上平均減少了56%,RAM使用量也平均降低了41%。這一顯著的優(yōu)化使得模型在運(yùn)行過程中能夠占用更少的資源,同時速度提高了2至4倍。此外,量化后的模型還降低了功耗,這對于將其部署到移動設(shè)備上具有重要意義。
此次Meta推出的量化版Llama 3.2模型,不僅展示了其在人工智能領(lǐng)域的持續(xù)創(chuàng)新能力,也為更多開發(fā)者提供了高效、便捷的工具。隨著這些模型在移動設(shè)備上的廣泛應(yīng)用,人工智能將更深入地融入人們的日常生活,為社會帶來更多的便利和可能性。
-
人工智能
+關(guān)注
關(guān)注
1806文章
48973瀏覽量
248796 -
開源
+關(guān)注
關(guān)注
3文章
3664瀏覽量
43761 -
Meta
+關(guān)注
關(guān)注
0文章
303瀏覽量
11837
發(fā)布評論請先 登錄
使用 NPU 插件對量化的 Llama 3.1 8b 模型進(jìn)行推理時出現(xiàn)“從 __Int64 轉(zhuǎn)換為無符號 int 的錯誤”,怎么解決?
無法在OVMS上運(yùn)行來自Meta的大型語言模型 (LLM),為什么?
Meta組建四大專研小組,深入探索DeepSeek模型
Meta重磅發(fā)布Llama 3.3 70B:開源AI模型的新里程碑

Meta發(fā)布新AI模型Meta Motivo,旨在提升元宇宙體驗
用Ollama輕松搞定Llama 3.2 Vision模型本地部署

使用OpenVINO 2024.4在算力魔方上部署Llama-3.2-1B-Instruct模型

亞馬遜云科技上線Meta Llama 3.2模型
亞馬遜云科技正式上線Meta Llama 3.2模型
Meta發(fā)布多模態(tài)LLAMA 3.2人工智能模型
源2.0-M32大模型發(fā)布量化版 運(yùn)行顯存僅需23GB 性能可媲美LLaMA3

評論