如何在邊緣端獲得GPT4-V的能力：算力魔方+MiniCPM-V 2.6
作者：算力魔方創始人/英特爾邊緣計算創新大使 劉力
前面我們分享了《在算力魔方上本地部署Phi-4模型》，實現了在邊緣端獲得Llama 3.3 70B模型差不多的能力。本文將分享，在邊緣端獲得類似GPT4-V的能力：MiniCPM-V 2.6 。
MiniCPM-V 2.6是MiniCPM-V系列最新、性能最佳的模型，基于SigLip-400M和Qwen2-7B構建，共8B參數。在最新版本 OpenCompass 榜單上（綜合 8 個主流多模態評測基準）平均得分 65.2，以8B量級的大小在單圖理解方面超越了 GPT-4o mini、GPT-4V、Gemini 1.5 Pro 和 Claude 3.5 Sonnet等主流商用閉源多模態大模型。
參考鏈接：OpenBMB/MiniCPM-o: MiniCPM-o 2.6: A GPT-4o Level MLLM for Vision, Speech and Multimodal Live Streaming on Your Phone
本文將分享MiniCPM-V 2.6 8B模型在算力魔方?4060版上的部署過程。
一，安裝Ollama
請按照《Gemma 2+Ollama在算力魔方上幫你在LeetCode解題》安裝Ollama。
二，運行MiniCPM-V 2.6
使用下面的命令完成運行MiniCPM-V 2.6：
ollamarunminicpm-v
三，體驗MiniCPM-V 2.6 多模態能力
輸入下面的提示詞和測試圖片，體驗MiniCPM-V 2.6的多模態能力：
“請描述并總結圖片中的內容，并提煉出該產品的賣點。”
運行視頻鏈接
審核編輯 黃宇
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
GPT
+關注
關注
0文章
368瀏覽量
16822 -
邊緣計算
+關注
關注
22文章
3524瀏覽量
53279
發布評論請先 登錄
相關推薦
熱點推薦
算力魔方2025全年技術精華文章回顧：智驅萬物，方寸之間
開發者們走過了不平凡的2026年。這一年，AI大模型參數量持續突破，邊緣計算能力大幅提升，開源工具生態日漸繁榮。 在算力魔方的方寸之間，我們
從云端集中到邊緣分布：邊緣智算如何重塑算力網絡布局
隨著大模型推理延遲進入毫秒級時代，整個科技行業都意識到：算力網絡的規則正在被改寫。這場變革的核心，正是從云端集中式計算向邊緣分布式智能的范式轉移。據行業多家分析機構綜合預測，全球AI基礎設施正面
什么是AI邊緣算力模組？?
天數智算AI邊緣算力模組以其多元的產品矩陣、領先的技術實力和廣泛的行業應用，正成為推動各行業智能化變革的重要力量。未來，天數智算將繼續深耕
解鎖邊緣智能新境界，天數智算AI邊緣算力模組賦能端側AI應用新篇章?
在數字化與智能化飛速發展的時代，邊緣計算正逐漸成為推動行業變革的關鍵力量。天數智算緊跟技術浪潮，精心布局AI邊緣算力模組領域，以強大的產品矩
解鎖邊緣智能新境界，天數智算AI邊緣算力模組賦能端側AI應用新篇章?
在數字化與智能化飛速發展的時代，邊緣計算正逐漸成為推動行業變革的關鍵力量。天數智算緊跟技術浪潮，精心布局AI邊緣算力模組領域，以強大的產品矩
什么是AI算力模組？
未來，騰視科技將繼續深耕AI算力模組領域，全力推動AI邊緣計算行業的深度發展。隨著AI技術的不斷演進和物聯網應用的持續拓展，騰視科技的AI算力
借勢 RISC-V與 AI 浪潮，元石智算打造算力新范式
在AI技術飛速發展的當下，算力需求呈指數級增長，成為推動行業前行的核心動力。與此同時，RISC-V架構憑借其開源、靈活、可定制等特性，正逐漸嶄露頭角，為AI算
基于算力魔方與PP-OCRv5的OpenVINO智能文檔識別方案
作者：算力魔方創始人/英特爾創新大使劉力 一，引言 隨著人工智能技術的快速發展，光學字符識別（OCR）技術已從傳統的模式識別方法演進到基于深度學習的
邊緣計算時代，科通技術以端AI方案重構算力分配格局
，通過優化大模型與芯片的協同能力，為智能終端設備提供高性能、低成本且安全可靠的解決方案，進一步推動AI芯片的廣泛應用與需求增長，成為公司業績持續增長的核心驅動力。?? 近年來，AI大模型對算力的需求呈現指數級增長，如
基于算力魔方的智能文檔信息提取方案
的進步，使得自動化和智能化的文檔信息提取成為現實。本方案結合了Intel OpenVINO平臺的性能優化優勢與百度飛槳（PaddlePaddle）提供的PP-OCRv4模型，旨在開發一款高性能、高精度的智能文檔處理系統。 算力
大算力芯片的生態突圍與算力革命
電子發燒友網報道（文 / 李彎彎）大算力芯片，即具備強大計算能力的集成電路芯片，主要應用于高性能計算（HPC）、人工智能（AI）、數據中心、自動駕駛等需要海量數據并行計算的場景。隨著 AI 與大數
【一文看懂】什么是端側算力？
隨著物聯網（IoT）、人工智能和5G技術的快速發展，端側算力正逐漸成為智能設備性能提升和智能化應用實現的關鍵技術。什么是端側算
工商網監
評論