本地化ChatGPT？Firefly推出基于BM1684X的大語言模型本地部署方案
自ChatGPT發布以來，生成式AI在全球引起了新的浪潮，它影響著各行各業，為世界帶來智能化的發展。然而，類ChatGPT的大語言模型極度依賴算力巨大的服務器，導致目前大部分應用只能通過集中調用API的方式來應用，很難本地化部署。
隨著大模型適用領域的擴展，大模型登陸邊緣設備的需求凸顯，越來越多的行業需要把大語言模型應用在專業的領域上。在這個背景下，Firefly推出了基于BM1684X平臺的大語言模型本地部署的方案，讓邊緣設備可配置上一顆真正的“智慧”大腦，應用于各行各業。
本地化的ChatGLM-6B大語言模型
（1）具有 62 億參數
采用了由清華大學的ChatGLM-6B大語言模型，基于 General Language Model (GLM) 架構，具有 62 億參數， 使用了和 ChatGPT 相似的先進技術，以達到優質的效果。
（2）優化中文對話
支持中英雙語的對話語言模型，并且針對中文問答和對話進行了優化，其開源的訓練數據量達到1萬億字符的模型。
AI邊緣計算主機EC-A1684XJD4
ChatGLM-6B可部署在Firefly旗下產品AI嵌入式主機EC-A1684XJD4中，主機配置了16GB大內存，適用于部分大模型的量化部署，可運行Ubuntu20.04操作系統，并集成最新的SOPHONSDK 3.0.0，可充分發揮BM1684X集成TPU的AI加速能力。
聲明：本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人，不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用，如有內容侵權或者其他違規問題，請聯系本站處理。
舉報投訴
-
AI
+關注
關注
91文章
39755瀏覽量
301355 -
人工智能
+關注
關注
1817文章
50094瀏覽量
265271 -
語言模型
+關注
關注
0文章
571瀏覽量
11310 -
ChatGPT
+關注
關注
31文章
1598瀏覽量
10264
發布評論請先 登錄
相關推薦
熱點推薦
從模型到產品：Qwen2.5-VL在BM1684X邊緣計算部署全攻略
前言：部署意義與應用場景1.1Qwen-2-5-VL與BM1684X的組合行業意義：?邊緣AI革命：大模型從云端下沉到邊緣設備是當前AI發展的關鍵趨勢。根據ABIResearch數據，到2026年
SAM(通用圖像分割基礎模型）丨基于BM1684X模型部署指南
在基于BM1684X芯片的嵌入式設備上進行高效推理測試。一、特性?支持BM1684X平臺全系列部署方案（x86PCIe、SoC、riscvP
小鵬汽車正式啟動其馬來西亞本地化生產項目
近日，小鵬汽車與馬來西亞EPMB集團簽約，正式啟動其馬來西亞本地化生產項目。這是繼印尼、奧地利之后，小鵬在全球布局的第三個本地化生產項目。
發布元服務配置本地化基礎信息（應用名稱、圖標）
您可以添加元服務支持的語言，并配置對應語言的本地化信息。
例如，當您設置簡體中文為默認語言，并且只配置中文的本地化信息，那么元服務在所有設置
發表于 10-24 17:42
Qwen3-VL 4B/8B全面適配，BM1684X成邊緣最佳部署平臺！
算能BM1684X上完成Qwen3-VL4B/8B模型的適配，推理速度13.7/7.2tokens/s，使其成為邊緣部署多模態大模型的最佳選擇。近日，阿里千問正式開源Qwen3-VL系
破解非洲數字鴻溝：傳音控股以本地化創新與教育合作助力可持續發展
科技出海企業代表傳音控股繼續秉持“全球化視野，本地化創新”理念，通過技術研發與公益投入雙輪驅動，助力非洲跨越數字鴻溝。深耕本地化創新，傳音賦能非洲數字化發展在非洲
小鵬汽車首個歐洲本地化生產項目啟動
小鵬汽車正式官宣歐洲本地化生產的重要規劃，與位于奧地利格拉茨的麥格納工廠展開深度合作，借助該工廠現有的成熟生產線，大力推動電動汽車在歐洲的本地化生產進程。
本地部署openWebUI + ollama+DeepSeek 打造智能知識庫并實現遠程訪問
。 DeepSeek 作為一個開源的大語言模型，我們可以通過 ZeroNews + openWebUI + ollama的方式，輕松的在本地私有化部
能源監測管理平臺是本地化部署好還是云端部署好？
能源監測管理平臺本地化部署和云端部署各有優劣，企業需根據自身需求和實際情況來選擇。如果企業對數據安全要求極高、網絡環境特殊且預算充足，本地化部署
傳音控股本地化戰略的跨區域成功：驅動東南亞、南亞數字化浪潮 ?
全球新興市場智能終端競爭進入新階段，傳音控股繼續憑借“本地化”戰略優勢書寫著從非洲到全球的擴張傳奇。與印尼電信巨頭IOH達成戰略合作、優化游戲體驗、研發全膚色影像技術，傳音正在將成熟的本地化模式成功
AI+能源數字化破局者故事5：斯倫貝謝 x IBM 咨詢之 “全球化經營與本地化適配”
斯倫貝謝與 IBM 的合作建立在技術專長、交付能力及本地化支持的基礎上，IBM 的強大技術實力和本地經驗，使其成為斯倫貝謝推動數字化轉型的重要合作伙伴
施耐德電氣與奇安信共建技術本地化創新中心
?在施耐德電氣技術本地化創新日上 ； 施耐德電氣與奇安信集團宣布成立 施耐德電氣（中國）技術本地化創新中心。 該中心將提供 針對國產基礎軟硬件的深度適配服務，以信息技術共創和生態協同為核心 ，更好
如何本地部署NVIDIA Cosmos Reason-1-7B模型
下一步行動。本文將一步步帶你在本地服務器上完成該模型的部署，并搭建一個直觀的 Web 交互界面，親身體驗前沿 AI 的“思考”過程。
博實結完成DeepSeek大模型本地化部署
近日，公司完成DeepSeek R1 671B大模型本地化部署。通過構建自主可控的AI基礎設施，公司同步實現研發智能升級、研發成本重構、數據安全閉環與應用場景突破，為產業智能化賦能。
工商網監
評論