2025年12月11日,靈汐杭州電信類腦智算集群在杭州正式發布。該集群由杭州靈汐類腦科技有限公司牽頭,杭州電信、中國電子科技南湖研究院以及腦啟社區作為合作方參與。該集群部署在中國電信杭州智算中心,整體規模超百億神經元、算力規模超200POPS,這也是國內首個支持大模型快速推理的類腦智算集群。
竇偉博士主持圓桌討論,與六位嘉賓共同探討類腦智能如何探索未來智算新模式。作為類腦智能技術的創新應用成果,該集群核心亮點在于模仿人類神經元連接方式,具備“存算一體、眾核并行、稀疏計算、事件驅動”四大特性,直接破解了傳統大模型推理的痛點,實現 “一快、一低、一降” 的突破性表現:
推理速度快:單用戶推理延遲控制在毫秒級,可流暢支撐實時交互與長文本深度推理,徹底告別卡頓,性能遠超傳統方案;首 token 延遲低:延遲可降至百毫秒乃至十毫秒級,響應速度再升級;功耗大幅下降:較業界同等推理算力水平,功耗直降 1/2 至 2/3 以上,綠色低碳優勢顯著。
更值得關注的是,不同于純神經擬態的專用技術路線,靈汐科技異構融合類腦芯片及系統可同時高效支持深度學習神經網絡和脈沖神經網絡,兼容 PyTorch、TensorFlow 等主流深度學習框架,能直接服務于多類開源大模型的快速推理,兼容性與實用性拉滿!
發布儀式上,華寶洪還介紹了靈汐科技面向智算中心的新一代高密類腦計算產品。LynAInfra 128一體化方案(簡稱LynAInfra 128)是由靈汐科技自研的一體化大模型推理算力方案,為大模型提供模塊化算力服務。通過多機柜的級聯拓展,可支持各類規格的大模型,為客戶提供一體化、高性能、低延時的大模型推理服務。
當前,大模型推理普遍面臨吞吐速度慢、高延遲等問題,嚴重制約行業應用落地。而靈汐科技基于類腦智能技術打造的“高實時、高吞吐、低延遲”推理服務解決方案,正針對性破解這一痛點。未來,該方案將逐步在金融應用、情感陪聊、快速導覽、大規模數據標注,以及無人機實時航拍處理、災害預警與應急處置等多個領域落地應用,如安康ai玩具聯合實驗室推出的賽賽貓毛絨ai玩具,依托電信類腦集群提供大模型快速推理的算力支撐。
從首個類腦智算集群發布到新一代高密產品(LynAInfra)亮相,靈汐科技正以類腦智能為核心,持續探索未來智算新模式。這場 “時間敏感型推理” 的技術革命已悄然啟程,讓我們共同期待類腦智能賦能更多場景,書寫產業智能化升級的新篇章!
-
集群
+關注
關注
0文章
149瀏覽量
17681 -
靈汐科技
+關注
關注
0文章
18瀏覽量
1549 -
大模型
+關注
關注
2文章
3716瀏覽量
5248
原文標題:重磅發布!國內首個類腦智算集群落地,大模型推理實現 “毫秒級響應”
文章出處:【微信號:北京靈汐科技有限公司,微信公眾號:北京靈汐科技有限公司】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
【匠師共研】系列之二 解鎖鐵電材料密碼,鋪就類腦存算一體工程化之路
靈汐杭州電信類腦智算集群正式發布
評論