2025年12月11日,靈汐杭州電信類腦智算集群在杭州正式發(fā)布。該集群由杭州靈汐類腦科技有限公司牽頭,杭州電信、中國電子科技南湖研究院以及腦啟社區(qū)作為合作方參與。該集群部署在中國電信杭州智算中心,整體規(guī)模超百億神經(jīng)元、算力規(guī)模超200POPS,這也是國內(nèi)首個(gè)支持大模型快速推理的類腦智算集群。
竇偉博士主持圓桌討論,與六位嘉賓共同探討類腦智能如何探索未來智算新模式。作為類腦智能技術(shù)的創(chuàng)新應(yīng)用成果,該集群核心亮點(diǎn)在于模仿人類神經(jīng)元連接方式,具備“存算一體、眾核并行、稀疏計(jì)算、事件驅(qū)動(dòng)”四大特性,直接破解了傳統(tǒng)大模型推理的痛點(diǎn),實(shí)現(xiàn) “一快、一低、一降” 的突破性表現(xiàn):
推理速度快:單用戶推理延遲控制在毫秒級,可流暢支撐實(shí)時(shí)交互與長文本深度推理,徹底告別卡頓,性能遠(yuǎn)超傳統(tǒng)方案;首 token 延遲低:延遲可降至百毫秒乃至十毫秒級,響應(yīng)速度再升級;功耗大幅下降:較業(yè)界同等推理算力水平,功耗直降 1/2 至 2/3 以上,綠色低碳優(yōu)勢顯著。
更值得關(guān)注的是,不同于純神經(jīng)擬態(tài)的專用技術(shù)路線,靈汐科技異構(gòu)融合類腦芯片及系統(tǒng)可同時(shí)高效支持深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)和脈沖神經(jīng)網(wǎng)絡(luò),兼容 PyTorch、TensorFlow 等主流深度學(xué)習(xí)框架,能直接服務(wù)于多類開源大模型的快速推理,兼容性與實(shí)用性拉滿!
發(fā)布儀式上,華寶洪還介紹了靈汐科技面向智算中心的新一代高密類腦計(jì)算產(chǎn)品。LynAInfra 128一體化方案(簡稱LynAInfra 128)是由靈汐科技自研的一體化大模型推理算力方案,為大模型提供模塊化算力服務(wù)。通過多機(jī)柜的級聯(lián)拓展,可支持各類規(guī)格的大模型,為客戶提供一體化、高性能、低延時(shí)的大模型推理服務(wù)。
當(dāng)前,大模型推理普遍面臨吞吐速度慢、高延遲等問題,嚴(yán)重制約行業(yè)應(yīng)用落地。而靈汐科技基于類腦智能技術(shù)打造的“高實(shí)時(shí)、高吞吐、低延遲”推理服務(wù)解決方案,正針對性破解這一痛點(diǎn)。未來,該方案將逐步在金融應(yīng)用、情感陪聊、快速導(dǎo)覽、大規(guī)模數(shù)據(jù)標(biāo)注,以及無人機(jī)實(shí)時(shí)航拍處理、災(zāi)害預(yù)警與應(yīng)急處置等多個(gè)領(lǐng)域落地應(yīng)用,如安康ai玩具聯(lián)合實(shí)驗(yàn)室推出的賽賽貓毛絨ai玩具,依托電信類腦集群提供大模型快速推理的算力支撐。
從首個(gè)類腦智算集群發(fā)布到新一代高密產(chǎn)品(LynAInfra)亮相,靈汐科技正以類腦智能為核心,持續(xù)探索未來智算新模式。這場 “時(shí)間敏感型推理” 的技術(shù)革命已悄然啟程,讓我們共同期待類腦智能賦能更多場景,書寫產(chǎn)業(yè)智能化升級的新篇章!
-
集群
+關(guān)注
關(guān)注
0文章
143瀏覽量
17661 -
靈汐科技
+關(guān)注
關(guān)注
0文章
18瀏覽量
1514 -
大模型
+關(guān)注
關(guān)注
2文章
3650瀏覽量
5181
原文標(biāo)題:重磅發(fā)布!國內(nèi)首個(gè)類腦智算集群落地,大模型推理實(shí)現(xiàn) “毫秒級響應(yīng)”
文章出處:【微信號:北京靈汐科技有限公司,微信公眾號:北京靈汐科技有限公司】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
功耗腰斬,延遲毫秒!杭州搶先手,押注類腦計(jì)算
【匠師共研】系列之二 解鎖鐵電材料密碼,鋪就類腦存算一體工程化之路
泰克專家探討類腦計(jì)算背后的器件邏輯與現(xiàn)實(shí)挑戰(zhàn)
時(shí)識科技在類腦與腦機(jī)接口領(lǐng)域?qū)崿F(xiàn)重要突破
華為發(fā)布全球最強(qiáng)算力超節(jié)點(diǎn)和集群
【「AI芯片:科技探索與AGI愿景」閱讀體驗(yàn)】+神經(jīng)形態(tài)計(jì)算、類腦芯片
腦啟社區(qū)第二屆類腦智能創(chuàng)新大賽正式啟動(dòng)
杭州靈汐類腦智算集群實(shí)現(xiàn)大模型快速推理
靈汐科技與廣電五舟達(dá)成戰(zhàn)略合作
靈汐科技斬獲第三屆“華彩杯”算力大賽東區(qū)決賽二等獎(jiǎng)
一文看懂AI算力集群
靈汐杭州電信類腦智算集群正式發(fā)布
評論