前不久,基于Orange Pi 5 Plus的DEEPX人工智能產(chǎn)品亮相世界人工智能硬件與邊緣AI峰會,讓大家感受到Orange Pi 5 Plus妥妥的AI硬實(shí)力。現(xiàn)在又發(fā)現(xiàn)了一個可以基于Orange Pi 5的AI應(yīng)用——AI-In-A-Box。
據(jù)美通社報道,專注于人工智能的初創(chuàng)公司 Useful Sensors日前推出了全球首個低成本、現(xiàn)成的人工智能模塊AI-In-A-Box,無需互聯(lián)網(wǎng)連接,即可在本地與電子設(shè)備進(jìn)行直觀的自然語言交互。
該 AI-In-A-Box模塊可以回答、查詢和解決問題,其方式與基于大型語言模型(LLM)的著名AI工具類似。但由于采用了由Useful Sensors開發(fā)的壓縮和加速技術(shù),該模塊可在本地托管其LLM文件,從而使其低成本微處理器能夠理解并即時響應(yīng)口頭自然語言查詢或命令,而無需參考數(shù)據(jù)中心。
由于與互聯(lián)網(wǎng)斷開,AI-In-A-Box模塊徹底消除了用戶對隱私、窺探或依賴第三方云服務(wù)等問題的擔(dān)憂,而這些問題在大型技術(shù)公司銷售的基于LLM的傳統(tǒng)人工智能產(chǎn)品和服務(wù)中十分普遍。
Useful Sensors公司創(chuàng)始人兼首席執(zhí)行官、前谷歌人工智能項(xiàng)目負(fù)責(zé)人Pete Warden說:“AI-In-A-Box模塊包含一個先進(jìn)的模型,用戶可以與之自然對話,無需網(wǎng)絡(luò)連接、賬戶或API調(diào)用。它提供了人工智能的優(yōu)勢——一種直觀、自然的方式來控制家中的設(shè)備、回答詢問或只是與一個自然語言化身聊天,而無需與大科技公司或云服務(wù)提供商共享任何對話或其他數(shù)據(jù)?!?/p>
除了可以像與人交談一樣與盒子進(jìn)行交互的對話式人工智能外,AI-In-A-Box還可以進(jìn)行多種語言之間的實(shí)時翻譯、顯示對話的實(shí)時字幕以及可以模擬USB鍵盤的語音工具。
AI-In-A-Box模塊現(xiàn)在可以在CrowdSupply購買,售價299美元。
高性能 NLP的本地實(shí)施
AI-In-A-Box模塊的自然語言處理(NLP)性能與著名的基于LLM的工具類似;它可以回答問題、講故事和笑話,并就藝術(shù)或體育等話題發(fā)表意見。但是,這些工具需要在數(shù)據(jù)中心托管高性能、高成本的GPU陣列,而AI-In-A-Box模塊只包含一個運(yùn)行所有AI操作的通用Arm? Cortex?-A級微處理器。
在定制的外殼內(nèi),你會發(fā)現(xiàn)其配備了功能強(qiáng)大的瑞芯微RK3588S SoC、8GB內(nèi)存、內(nèi)置顯示屏、揚(yáng)聲器和麥克風(fēng),使用的操作系統(tǒng)是Ubuntu 22.04。
看到這里,不得不說,香橙派的Orange Pi 5簡直就是為AI-In-A-Box量身定制的。Orange Pi 5采用了瑞芯微RK3588S新一代八核64位處理器,主頻最高可達(dá)2.4GHz,集成ARM Mali-G610 MP4 GPU,內(nèi)嵌高性能3D和2D圖像加速模塊,內(nèi)置高達(dá)6 Tops算力的AI加速器NPU,擁有4GB/8GB/16GB/32GB(LPDDR4/4x),具有高達(dá)8K顯示處理能力。
Orange Pi 5引用了相當(dāng)豐富的接口,包括HDMI輸出、GPIO接口、Type-C、M.2 PCIe2.0、千兆網(wǎng)口、2個USB2.0,1個USB3.0等;支持Ubuntu、Debian、Android12等操作系統(tǒng)。
Orange Pi 5默認(rèn)不帶WiFi和藍(lán)牙,雖然板上有一個以太網(wǎng)端口,但由于AI-In-A-Box不需要連接互聯(lián)網(wǎng),因此也無需連接。由于在本地提供所有數(shù)據(jù),可完全保護(hù)敏感對話或資料的隱私。
-
Orange
+關(guān)注
關(guān)注
0文章
83瀏覽量
19686 -
AI
+關(guān)注
關(guān)注
87文章
31338瀏覽量
269746 -
人工智能
+關(guān)注
關(guān)注
1793文章
47539瀏覽量
239392 -
開發(fā)板
+關(guān)注
關(guān)注
25文章
5101瀏覽量
97884
發(fā)布評論請先 登錄
相關(guān)推薦
評論