TL;DR

將海外廣受歡迎的開源智能相冊項目Immich部署于樹莓派5上，并通過搭載基于AX650N/AX8850的M.2算力卡，顯著提升了系統算力。借助該方案，我們高效部署了多模態模型CLIP，有效緩解了僅依賴樹莓派5本體運行時CPU資源占用過高的瓶頸，大幅提升了“以文搜圖”功能的響應速度與使用體驗。

為何推薦采用M.2形態的算力卡？原因在于，目前絕大多數NAS設備均內置M.2 2280接口，主要用于安裝高速SSD緩存或存儲盤。利用這一通用接口擴展AI算力模塊，不僅無需額外供電或外接設備，還能實現算力升級與存儲擴展的兼容共存，具備極佳的硬件兼容性與部署靈活性。這種“即插即用”的升級方式，為邊緣設備賦能AI能力提供了高效、低成本的解決方案。

01背景

今年下半年，隨著業務推廣需求增加，我們的大模型適配工作也有了新方向：不再只追求前沿模型的快速適配，而是更聚焦為銷售團隊提供具備實戰價值的解決方案，即貼近客戶剛需、可快速落地的大模型應用。

因此，接下來的技術分享會更聚焦在基于我司邊緣AI芯片（如AX650/AX8850）的實際應用落地，幫助客戶實現從Demo到量產的跨越。

其中一個重點場景就是：AI NAS產品應用。

自2025年下半年以來，NAS行業正加速向“AI NAS”演進，開啟智能化升級的新階段。作為產品經理，我們在調研中提煉出一系列面向家庭與個人用戶的“智能內容管理”需求，涵蓋圖像、音頻、視頻等多個維度，推動NAS從傳統的數據存儲中心向AI內容中樞轉型。

圖像類功能（已整合至智能相冊場景）：

自然語言檢索圖片（以文搜圖）

智能去重與相似圖識別

老照片修復與圖像超分辨率

時光縮影（自動生成回憶視頻）

音頻類功能：

音質增強與降噪

歌詞自動匹配與生成

會議錄音轉錄與摘要

視頻類功能：

視頻超分與畫質增強

運動插幀提升流暢度

自動生成字幕并支持多語言翻譯

在構建智能相冊能力的過程中，綜合考慮社區活躍度、功能完整性、擴展性與部署復雜度，最終選定Immich。Immich不僅支持高質量的照片與視頻備份，還內置了基于CLIP模型的語義檢索能力，是實現“以文搜圖”的理想基礎平臺。

然而，在將Immich部署于樹莓派5等端側設備時，我們發現其默認使用CPU運行CLIP模型會導致資源占用過高，響應延遲明顯，嚴重影響用戶體驗。為此，我們引入基于AX650N/AX8850芯片的M.2算力卡，通過硬件卸載方式將多模態推理任務從主CPU轉移至NPU，顯著降低系統負載，提升檢索效率。

本文將簡要介紹Immich的核心功能，并重點分享如何利用M.2算力卡實現CLIP模型的高效推理部署，拓展Immich在低功耗邊緣設備上的適用場景，為AI NAS的本地化智能演進提供可行路徑。

02Immich

自托管的照片和視頻管理解決方案。可以輕松的部署在自己的服務器（x86 mini PC或者樹莓派5）上，實現備份、整理和管理自己的照片。Immich幫助便捷地瀏覽、搜索和管理照片與視頻，由于是私有化部署，因此完全不用擔心隱私風險。

官方網站：https://immich.app/

官方文檔：https://docs.immich.app/overview/quick-start/

GitHub項目：https://GitHub.com/immich-app/immich

架構淺析

Immich其實是比較復雜的項目，在本文中只做最基本的探討，主要是為了引出AI模型在什么位置，詳細的架構說明請參考https://docs.immich.app/developer/architecture

Immich采用傳統的客戶端-服務器架構，并使用專用數據庫進行數據持久化。前端客戶端通過HTTP使用REST API與后端服務進行通信。以下是該架構的高層級示意圖。

示意圖展示了客戶端通過REST與服務器的API進行通信的過程。服務器則通過倉庫接口與下游系統（如Redis，Postgres，Machine Learning，file system）進行通信。圖中未顯示的是，服務器被拆分為兩個獨立的容器：immich-server和immich-microservices。微服務容器不處理API請求或安排定時任務，而主要是處理來自Redis的傳入作業請求。

Immich后端被劃分為多個服務，每個服務作為獨立的Docker容器運行。

immich-server-負責處理和響應REST API請求，執行后臺作業（如縮略圖生成、元數據提取、轉碼等）。

immich-machine-learning-執行機器學習模型。

postgres-用于持久化數據存儲。

Redis-管理后臺作業的任務隊列。

這些容器協同工作以提供Immich的完整功能。

Machine Learning

（適配的核心工作）

Machine Learning服務使用Python編寫，并通過FastAPI進行HTTP通信。

所有與Machine Learning相關的操作均已移至該獨立服務（immich-machine-learning）。Python是人工智能和機器學習領域的自然選擇，但它也對硬件有較為特定的要求。將其作為獨立容器運行，使得該容器可以在單獨的機器上部署，或根據需要輕松地完全禁用。

對機器學習服務的每個請求都包含與模型任務、模型名稱等相關元數據。這些設置與其他系統配置一同存儲在Postgres數據庫中。微服務容器在每次請求時會獲取這些設置，并將其附加到請求中。

在服務內部，機器學習服務在處理文本或圖像數據之前，會先為每個請求下載、加載并配置指定的模型。已加載的模型會被緩存，以便在后續請求中重復使用。服務使用線程池在不同線程中處理每個請求，以避免阻塞異步事件循環。

Immich官方倉庫中，所有模型均采用ONNX格式。該格式在業界得到廣泛支持，意味著大多數其他模型格式均可導出為ONNX，且許多硬件API也支持該格式。但是對于以文搜圖這樣的算法應用，Immich采用的是主流的CLIP模型，即使使用性能較強的消費級x86 CPU，運行較大的CLIP模型效率也較低。

因此，我們引入基于AX650N/AX8850的M.2算力卡，作為提升邊緣推理性能的硬件加速方案。將“以文搜圖”這類模型體積大、內存與算力需求高的任務，其運行負載卸載到M.2算力卡上。這樣即使在性能較低的NAS主控產品上也能啟用機器學習的服務，提升用戶體驗。我們始終在探索改進方法，以專門優化該容器在內存使用和性能方面的表現。

03示例展示

硬件方案

本方案選用在開發者社區中用戶基礎廣泛、生態成熟的Raspberry Pi 5作為主控平臺，部署開源智能相冊系統Immich。樹莓派5憑借其較強的計算性能、良好的Linux兼容性以及豐富的外設支持，為輕量級AI NAS應用提供了理想的邊緣計算載體。

為進一步提升端側AI推理能力，解決多模態模型（如CLIP）在CPU上運行時資源占用高、響應延遲大的問題，系統額外搭載了一塊M.2 2242規格的AI算力卡（基于AX650N/AX8850等NPU芯片），用于卸載圖像語義分析等高算力需求任務。該算力卡通過PCIe接口直連主控，具備低功耗、高能效比的特點，可在不增加系統復雜性的前提下顯著提升本地推理性能。

采用M.2 2242形態而非更常見的2280，旨在適配更多緊湊型設備與HAT擴展板的空間限制，尤其適合樹莓派生態中的小型化AI邊緣部署場景。該設計也為未來在其他NAS平臺實現“存儲+算力”一體化擴展提供了參考路徑。

https://docs.m5stack.com/zh_CN/ai_hardware/LLM-8850_Card

軟件方案

為充分發揮M.2算力卡的AI加速能力，我們對immich-machine-learning服務進行了深度定制與擴展，核心在于集成對AXCL（Axera Compute Library）驅動的原生支持。通過引入Axera提供的NPU Python API，系統可在運行時直接調用部署于AX650N/AX8850芯片上的axmodel模型，實現高效、低延遲的本地化推理。

所有axmodel模型均通過Axera官方Pulsar2 NPU工具鏈，由標準ONNX模型轉換而來，確保模型精度與推理性能的最優平衡。我們特別選用了更大規模的CLIP-L/14-336視覺-語言預訓練模型，其參數量顯著優于Immich默認的ViT-B/16等輕量模型。該模型基于Transformer架構，能夠更精準地提取圖像與文本的高層語義特征，在“以文搜圖”任務中實現更高的召回率與語義匹配準確度。

為降低用戶部署門檻，我們已將定制后的Immich服務打包為預編譯的Docker鏡像，并連同轉換好的axmodel模型文件一并開源至Hugging Face。樹莓派用戶可直接拉取鏡像并啟動服務，無需手動編譯或模型轉換，即可在邊緣設備上體驗高性能的本地化AI圖像檢索能力。

該軟件方案不僅驗證了Immich在異構計算環境下的可擴展性，也為未來在更多NPU平臺上實現開源AI NAS功能提供了可復用的技術路徑。

https://huggingface.co/AXERA-TECH/immich

運行

在完成樹莓派5的軟硬件環境配置，并參考Hugging Face項目頁面部署預編譯的Docker鏡像后，系統將自動啟動Immich相關服務。

假設您的樹莓派5分配到的局域網IP地址為10.126.33.241，您可通過任意設備上的瀏覽器訪問以下地址：

http://10.126.33.241:2283/

首次訪問時，系統會提示您注冊一個新用戶賬戶。請放心，所有數據都僅在您的樹莓派上離線運行。如果僅用于演示或測試目的，您可以隨意輸入任意用戶名和密碼。

啟用以文搜圖功能。

這里需要顯式地指定immich-machine-learning服務的IP地址和端口號，同時需要指明使用哪種CLIP模型。

同時也支持照片去重功能：通過對比圖片的特征相似度差異來實現去重功能。

完成設置后記得保存。然后在任務狀態欄就能發現后臺已經在高效率地提取照片庫中每一張圖片的特征信息了。

圖片去重也支持上了。

在執行任務過程中，我們可以通過樹莓派5上的終端來查詢算力卡的使用情況，圖片中可以看出NPU使用率已經拉滿了。由于M.2算力卡計算CLIP模型效率高，即使是本示例中使用的CLIP-L/14-336的模型，也能做到10+張/秒的高效率。所以很快就完成了所有的照片特征建檔。

接下來就可以使用“以文搜圖”的功能了。

輸入“stop”：

輸入“吃披薩的照片，拿著手機拍照”：

04總結

Immich是一個極具影響力的開源智能相冊項目，其官方最新版本已推出適用于Android和iOS的移動客戶端，用戶可通過手機或平板便捷地連接并管理私有部署的Immich服務器，真正實現隨時隨地訪問個人影像庫。

同時我們會持續努力，將其更多的智能算法、視頻編解碼的功能遷移到M.2算力上，讓Immich在樹莓派等邊緣設備上的運行更加流暢、高效，惠及更廣泛的個人用戶與開發者群體。

關于AI NAS的一些信息同步

最近2個月，我們針對AI NAS的智能化升級主動適配了以下功能，同時支持AX650N/AX8850主控與AXCL算力卡產品形態。

針對AI NAS產品，大家還想實現什么功能歡迎留言，我們盡可能實現。