前不久，基于Orange Pi 5 Plus的DEEPX人工智能產(chǎn)品亮相世界人工智能硬件與邊緣AI峰會(huì)，讓大家感受到Orange Pi 5 Plus妥妥的AI硬實(shí)力。現(xiàn)在又發(fā)現(xiàn)了一個(gè)可以基于Orange Pi 5的AI應(yīng)用——AI-In-A-Box。

據(jù)美通社報(bào)道，專注于人工智能的初創(chuàng)公司 Useful Sensors日前推出了全球首個(gè)低成本、現(xiàn)成的人工智能模塊AI-In-A-Box，無需互聯(lián)網(wǎng)連接，即可在本地與電子設(shè)備進(jìn)行直觀的自然語言交互。

該 AI-In-A-Box模塊可以回答、查詢和解決問題，其方式與基于大型語言模型（LLM）的著名AI工具類似。但由于采用了由Useful Sensors開發(fā)的壓縮和加速技術(shù)，該模塊可在本地托管其LLM文件，從而使其低成本微處理器能夠理解并即時(shí)響應(yīng)口頭自然語言查詢或命令，而無需參考數(shù)據(jù)中心。

由于與互聯(lián)網(wǎng)斷開，AI-In-A-Box模塊徹底消除了用戶對(duì)隱私、窺探或依賴第三方云服務(wù)等問題的擔(dān)憂，而這些問題在大型技術(shù)公司銷售的基于LLM的傳統(tǒng)人工智能產(chǎn)品和服務(wù)中十分普遍。

Useful Sensors公司創(chuàng)始人兼首席執(zhí)行官、前谷歌人工智能項(xiàng)目負(fù)責(zé)人Pete Warden說：“AI-In-A-Box模塊包含一個(gè)先進(jìn)的模型，用戶可以與之自然對(duì)話，無需網(wǎng)絡(luò)連接、賬戶或API調(diào)用。它提供了人工智能的優(yōu)勢——一種直觀、自然的方式來控制家中的設(shè)備、回答詢問或只是與一個(gè)自然語言化身聊天，而無需與大科技公司或云服務(wù)提供商共享任何對(duì)話或其他數(shù)據(jù)。”

除了可以像與人交談一樣與盒子進(jìn)行交互的對(duì)話式人工智能外，AI-In-A-Box還可以進(jìn)行多種語言之間的實(shí)時(shí)翻譯、顯示對(duì)話的實(shí)時(shí)字幕以及可以模擬USB鍵盤的語音工具。

AI-In-A-Box模塊現(xiàn)在可以在CrowdSupply購買，售價(jià)299美元。

高性能 NLP的本地實(shí)施

AI-In-A-Box模塊的自然語言處理（NLP）性能與著名的基于LLM的工具類似；它可以回答問題、講故事和笑話，并就藝術(shù)或體育等話題發(fā)表意見。但是，這些工具需要在數(shù)據(jù)中心托管高性能、高成本的GPU陣列，而AI-In-A-Box模塊只包含一個(gè)運(yùn)行所有AI操作的通用Arm? Cortex?-A級(jí)微處理器。

在定制的外殼內(nèi)，你會(huì)發(fā)現(xiàn)其配備了功能強(qiáng)大的瑞芯微RK3588S SoC、8GB內(nèi)存、內(nèi)置顯示屏、揚(yáng)聲器和麥克風(fēng)，使用的操作系統(tǒng)是Ubuntu 22.04。

看到這里，不得不說，香橙派的Orange Pi 5簡直就是為AI-In-A-Box量身定制的。Orange Pi 5采用了瑞芯微RK3588S新一代八核64位處理器，主頻最高可達(dá)2.4GHz，集成ARM Mali-G610 MP4 GPU，內(nèi)嵌高性能3D和2D圖像加速模塊，內(nèi)置高達(dá)6 Tops算力的AI加速器NPU，擁有4GB/8GB/16GB/32GB（LPDDR4/4x），具有高達(dá)8K顯示處理能力。

Orange Pi 5引用了相當(dāng)豐富的接口，包括HDMI輸出、GPIO接口、Type-C、M.2 PCIe2.0、千兆網(wǎng)口、2個(gè)USB2.0，1個(gè)USB3.0等；支持Ubuntu、Debian、Android12等操作系統(tǒng)。

Orange Pi 5默認(rèn)不帶WiFi和藍(lán)牙，雖然板上有一個(gè)以太網(wǎng)端口，但由于AI-In-A-Box不需要連接互聯(lián)網(wǎng)，因此也無需連接。由于在本地提供所有數(shù)據(jù)，可完全保護(hù)敏感對(duì)話或資料的隱私。