Firefly開源團隊文章

• 嵌入式大模型主機：EC-R3576PC FD2024-06-13 08:02

  

  配置Rockchip八核64位AIOT處理器RK3576，采用先進工藝制程，高性能低功耗，內置ARMMaliG52MC3GPU，集成6TOPS算力NPU，支持Transformer架構下大模型的私有化部署配置工業級全金屬外殼，無風扇被動散熱，支持外部看門狗，擁有工業級的穩定性，廣泛適用于AI本地部署的應用場景八核64位AIOT處理器RK3576新一代八核64

  主機 大模型 嵌入式 1257瀏覽量

• 【AIBOX上手指南】快速部署Llama32024-06-06 08:02

  

  Firefly開源團隊推出了Llama3部署包，提供簡易且完善的部署教程，過程無需聯網，簡單快捷完成本地化部署。點擊觀看Llama3快速部署教程：Step.1準備部署包進入Firefly下載中心，下載Llama3部署包。在電腦上以管理員身份打開cmd：執行scp命令傳輸部署包至AIBOX，并輸入密碼linaro獲取訪問權限。scpllama3.tarlina

  Firefly 軟件 1835瀏覽量

• 低功耗大模型主板：ROC-RK3576-PC2024-05-30 08:02

  

  采用八核64位AIOT處理器RK3576，采用大小核構架（4×A72+4×A53），采用先進制程工藝，高性能低功耗，內置ARMMaliG52MC3GPU，集成6TOPS算力NPU，支持Transformer架構下超大規模參數模型的私有化部署，支持多種深度學習框架、自定義算子開發、Docker容器化管理技術。配置外部看門狗，具備工業級穩定性，廣泛適用于AI本地

  主板 處理器 大模型 2280瀏覽量

• 【AIBOX快速入門】2步玩轉AI對話2024-05-30 08:02

  

  隨著目前AI的高速發展，大批量AI硬件應運而生，但使用門檻普遍較高。為了解決這類問題，Firefly開源團隊推出了基于Web的AI對話應用：FireflyChat，讓AI的使用變得更加簡單點擊觀看視頻教程：1接線分別接入電源線和網線，其中網線需要接到靠近12V電源接口的網口1（網口1的靜態IP為192.168.150.1）2設置電腦IP在電腦上打開cmd（使

  AI Firefly 人工智能 1726瀏覽量

• AI算力核心板：Core-1688JD42024-05-15 08:02

  

  采用SOPHON算能八核AI處理器BM1688，INT8算力高達16TOPS，支持16路解碼+10路編碼+16路AI分析，支持6路sensor輸入視頻，并支持LLaMa2、ChatGLM、Qwen等大模型私有化部署，提供一站式深度學習開發工具包SOPHONSDK，工具鏈完備易用度高，可輕松進行AI算法的本地化部署適用于智算服務器、邊緣智算盒、工控機、智能網絡

  AI 處理器 工控機 3271瀏覽量

• 【AIBOX】裝在小盒子的AI足夠強嗎？2024-05-15 08:02

  

  Firefly推出大語言模型本地部署的產品：AIBOX-1684X，目前已適配主流的大語言模型，包括ChatGLM3-6B，以下是ChatGLM3在AIBOX-1684X上的實機演示：ChatGLM3-6B采用更多元的訓練數據和策略，在不同角度的數據集，采用了全新設計的Prompt格式，支持工具調用(FunctionCall)、代碼執行(CodeInterp

  AI Firefly 語言模型 1297瀏覽量

• 智算AI主機：EC-A1688JD42024-05-07 08:02

  

  采用SOPHON算能八核AI處理器BM1688，INT8算力高達16TOPS，支持16路H.265/H.2641080p@30fps視頻解碼，支持6路sensor輸入視頻，支持主流編程框架，提供一站式深度學習開發工具包SOPHONSDK，工具鏈完備易用度高，算法輕松部署，算法遷移代價小。適用于智算服務器、邊緣智算盒、工控機、智能網絡攝像機、AIOT、智能安防

  AI 主機 1799瀏覽量

• 成都工博會現場：共睹新一輪技術潮流2024-05-07 08:02

  

  2024年4月24日-26日，成都工業博覽會在中國西部國際博覽城盛大舉辦，Firefly團隊攜多款核心產品如約而至，與展客分享及探討嵌入式工業級系統的最新趨勢和科技創新。展會現場直擊Firefly團隊以“工業智能一站式平臺”為主題布展，進行了全方位的產品展示，其中涵蓋集群服務器、工業主機、工業主板、核心板、IPC攝像頭等產品。現場許多展客被吸引前來參與產品體

  嵌入式 嵌入式系統 工業 681瀏覽量

• AI硬件大爆發，這個小魔盒直擊端側AIGC的痛點2024-05-07 08:02

  

  私有本地化部署：AI硬件的未來隨著當下AI的高速發展，今年將會迎來“大模型應用爆發元年”。市面上不少大模型產品應運而生，在大模型普惠應用井噴的時代，這類產品的使用存在許多門檻和風險，比如高昂的服務器部署成本、在運行過程中會過度依賴網絡狀態、以及難以保障數據的安全性等問題。為了解決大模型產品使用期間所產生的算力成本高、網絡波動、數據隱私等問題，Firefly開

  AI AIGC 硬件 1322瀏覽量

• AIBOX-1684X：把大語言模型“裝”進小盒子2024-04-20 08:02

  

  AIBOX-1684X支持主流大模型私有化部署，算力高達32TOPS，同時也支持CNN、RNN、LSTM等傳統網絡架構，支持TensorFNNX和Darknet等深度學習架構，并支持自定義算子開發。支持Docker容器化管理技術。適用于智能監控、AI教學、算力服務、邊緣計算、大模型私有化部署、數據安全和隱私保護等場景。全面的人工智能私有化部署語言大模型支持T

  深度學習 語言模型 2640瀏覽量