国产精品久久久aaaa,日日干夜夜操天天插,亚洲乱熟女香蕉一区二区三区少妇,99精品国产高清一区二区三区,国产成人精品一区二区色戒,久久久国产精品成人免费,亚洲精品毛片久久久久,99久久婷婷国产综合精品电影,国产一区二区三区任你鲁

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

把大模型“刻進”芯片,AI芯片推理速度17000 tokens/秒

Carol Li ? 來源:電子發燒友網 ? 作者:李彎彎 ? 2026-03-01 06:45 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發燒友網綜合報道 近期,加拿大多倫多初創公司Taalas正式發布首款AI推理芯片HC1,將大模型權重直接蝕刻到芯片的金屬互連層中,實現推理速度達17000 tokens/秒。

Taalas 于 2023 年成立,由 Tenstorrent 前聯合創始人、前 AMD英偉達架構師柳比薩?巴伊奇(Ljubisa Bajic)攜手工程師 Drago Ignjatovic、Lejla Bajic 共同創立。目前,Taalas 已通過三輪融資籌集超 2 億美元。

巴伊奇曾主導 Tenstorrent 可擴展 AI 加速器研發,2023 年 3 月離開后創立 Taalas,其核心使命是“將人工智能商品化”。他表示:“人工智能像電力,是不可或缺的必需品,必須向所有人提供。而實現這一目標需要對計算能力和效率進行 1000 倍提升,靠當前漸進式手段無法達成。”

這種“非漸進式”思路,使 Taalas 一開始就走上與英偉達對立的道路。2023 年 8 月至 2024 年 3 月,Taalas 完成兩輪融資,首輪 5000 萬美元由皮埃爾?拉蒙德和 Quiet Capital 牽頭,后續融資讓公司總估值達 2.19 億美元。投資人皮埃爾?拉蒙德評價團隊經驗業內頂級,認為其方向能實現 1000 倍成本改善,推動 AI 成為基礎設施級能力。

?

Taalas宣稱的1000倍效率提升,并非故弄玄虛,而是源于對傳統AI芯片架構的徹底革新。不同于通用GPU“內存加載模型、軟件調度運行”的模式,Taalas采用“Model Based”架構,將特定大模型的訓練結果直接固化在晶體管層面,構建出物理意義上的“硬核模型”。

其HC1芯片運用臺積電6nm工藝與Mask ROM技術,把Llama 3.1 8B模型的權重硬編碼在硅片上,從物理層面消除計算與存儲間的數據搬運。據Taalas公布的數據,HC1的token處理速度約為英偉達B200的48倍,硬件成本僅為傳統GPU方案的1/20,功耗降至1/10,且無需液冷和HBM顯存,僅靠空氣冷卻就能運行。

不過,極致性能的代價是通用性的完全喪失。HC1只能運行特定的Llama 3.1 8B模型,模型更新芯片就需重新流片。Taalas雖宣稱能將新模型轉化為定制芯片的周期壓縮至兩個月,但在AI模型快速迭代的當下,這仍是該方案面臨的核心挑戰?!耙荒P鸵恍酒蹦J揭罂蛻魧μ囟P烷L期承諾,一旦行業轉向全新架構,現有專用硬件將迅速貶值。Taalas的應對之策是押注Llama等開源架構的長期主導地位,同時借助LoRA微調技術優化芯片固化模型的適應性。

生態系統短板也是Taalas的一大難題。英偉達的優勢在于CUDA軟件生態和開發者的深度依賴,而Taalas的專用芯片缺乏配套開發工具鏈,開發者需重新適配,這提高了客戶的遷移成本。如何快速構建自身生態,成為Taalas能否規?;涞氐年P鍵。

實際測試中,HC1雖能“2000字回復秒出”,但回復質量存在明顯缺陷,簡單運算出錯,復雜問題“胡編亂造”。根源在于初代產品采用的定點數格式無法滿足復雜推理的精度需求。為應對此問題,Taalas已規劃第二代產品HC2,將改用標準4 - bit浮點格式改善精度,同時將模型支持規模提升至200億參數,計劃2026年底前覆蓋GPT - 5級別系統。

中國科學院計算技術研究所副研究員趙永威高度評價這一技術路線,認為雖目前Taalas尚無應用價值,但會成為有歷史意義的芯片,這種硬連線模式是未來芯片發展趨勢,Taalas扛起質疑,將讓后來者推廣相關概念更輕松。

隨著AI發展重心從訓練轉向推理,定制化AI芯片正"脫穎而出"。在AI推理芯片賽道上,Taalas并非唯一的探索者。Etched將Transformer架構固化為ASIC電路,Groq以純SRAM架構打造LPU,Cerebras則將整塊晶圓作為單顆芯片,各家都在通過放棄某一傳統設計要素,換取推理環節的性能突破。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • AI芯片
    +關注

    關注

    17

    文章

    2126

    瀏覽量

    36771
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    模型 ai coding 比較

    框架:llm-coding-bench v1.0 統一代碼執行超時:10 統一隨機種子:42 統一裁判模型:DeepSeek-Chat(第三方交叉驗證) ? 綜合評分公式: scss 體驗AI代碼
    發表于 02-19 13:43

    力爭百萬 Tokens 推理成本降低百倍:云天勵飛發布未來三年大算力芯片戰略,首曝 DeepVerse 路線圖

    2月3日,云天勵飛正式舉辦“大算力芯片戰略前瞻會”,首次對外公布未來三年的大算力 AI 推理芯片戰略布局。面對人工智能從“基礎模型構建”邁向
    的頭像 發表于 02-03 20:25 ?1944次閱讀
    力爭百萬 <b class='flag-5'>Tokens</b> <b class='flag-5'>推理</b>成本降低百倍:云天勵飛發布未來三年大算力<b class='flag-5'>芯片</b>戰略,首曝 DeepVerse 路線圖

    AI推理芯片需求爆發,OpenAI欲尋求新合作伙伴

    電子發燒友網綜合報道,在人工智能迅猛發展的當下,AI推理芯片需求正呈爆發式增長。 ? AI推理,即支撐如ChatGPT這類
    的頭像 發表于 02-03 17:15 ?1990次閱讀

    使用NORDIC AI的好處

    × 在 CPU 上運行時可快 10×、更省電,平均模型體積 <5 KB。[Edge AI 軟件頁] Axon NPU 對同一 TensorFlow Lite 模型:* 推理
    發表于 01-31 23:16

    Banana Pi 開源社區聯合迭時空發布最新RISC-V芯片K3開發套件:BPI-SM10(K3-CoM260)

    AI算力。實際測試推理速度超過10Tokens/@30B。支持多路并發AI應用流水線與高性能
    發表于 01-30 18:38

    迭時空發布新一代RISC-V AI CPU芯片,滿足端側大模型算力需求

    電子發燒友網報道 1月29日,迭時空線上發布新一代AI CPU芯片——K3。作為全球首顆符合RVA23規范的量產RISC-V芯片,K3實現多項技術創新:首次全球量產1024位寬高并行
    的頭像 發表于 01-30 14:06 ?8356次閱讀

    AI端側部署開發(SC171開發套件V3)2026版

    Stack模型推理指南 11分55 https://t.elecfans.com/v/28526.html *附件:文檔:Fibo AI Stack
    發表于 01-15 10:31

    什么是AI模型推理能力

    NVIDIA 的數據工廠團隊為 NVIDIA Cosmos Reason 等 AI 模型奠定了基礎,該模型近日在 Hugging Face 的物理推理模型排行榜中位列榜首。
    的頭像 發表于 09-23 15:19 ?1269次閱讀

    【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI芯片到AGI芯片

    、分布式群體智能 1)物聯網AGI系統 優勢: 組成部分: 2)分布式AI訓練 7、發展重點:基于強化學習的后訓練與推理 8、超越大模型:神經符號計算 三、AGI芯片的實現 1、技術需
    發表于 09-18 15:31

    【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI的科學應用

    流體芯片AI計算平臺 ⑥基于AI的自主決策系統 ⑦基于AI的自主學習系統 2、面臨的挑戰 ①需要造就一個跨學科、全面性覆蓋的知識庫和科學基礎模型
    發表于 09-17 11:45

    【「AI芯片:科技探索與AGI愿景」閱讀體驗】+第二章 實現深度學習AI芯片的創新方法與架構

    連接定義了神經網絡的拓撲結構。 不同神經網絡的DNN: 一、基于大模型AI芯片 1、Transformer 模型與引擎 1.1 Transformer
    發表于 09-12 17:30

    【「AI芯片:科技探索與AGI愿景」閱讀體驗】+AI芯片的需求和挑戰

    與邊緣AI的不同特點: 邊緣推理的優勢:可以提供數據處理速度和響應速度,滿足實時需求;可以縮短網絡延遲,降低成本;可以提高安全性和隱私性,保護用戶數據。 前面說的都是好處,那面臨的
    發表于 09-12 16:07

    AI推理芯片賽道猛將,200億市值AI芯片企業赴港IPO

    7月30日,AI芯片龍頭企業云天勵飛正式向港交所遞交招股說明書。 ? 云天勵飛成立于2014年8月,于2023年4月在上交所科創板掛牌,截至8月1日的市值為216億元。專注于AI推理
    的頭像 發表于 08-04 09:22 ?4664次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>推理</b><b class='flag-5'>芯片</b>賽道猛將,200億市值<b class='flag-5'>AI</b><b class='flag-5'>芯片</b>企業赴港IPO

    信而泰×DeepSeek:AI推理引擎驅動網絡智能診斷邁向 “自愈”時代

    DeepSeek-R1:強大的AI推理引擎底座DeepSeek是由杭州深度求索人工智能基礎技術研究有限公司開發的新一代AI模型。其核心優勢在于強大的
    發表于 07-16 15:29

    谷歌新一代 TPU 芯片 Ironwood:助力大規模思考與推理AI 模型新引擎?

    Cloud 客戶開放,將提供 256 芯片集群以及 9,216 芯片集群兩種配置選項。 ? 在核心亮點層面,Ironwood 堪稱谷歌首款專門為 AI 推理精心設計的 TPU
    的頭像 發表于 04-12 00:57 ?3716次閱讀