2016年底，谷歌TPU團隊的十位核心開發(fā)者中的八位悄悄離職，創(chuàng)辦了一家名為 Groq 的機器學習系統(tǒng)公司，是進軍AI加速卡的第100家、是商業(yè)化推向市場的第2家，是首家達到每秒1000萬億次運算的公司。如果做對比，那么它是當前NVIDIA最強大顯卡性能的四倍。

The Groq Tensor Streaming Processor (TSP) 要求每個內(nèi)核達到300W，而且他們已經(jīng)成功做出來了。而且更幸運的是，已將其從劣勢轉(zhuǎn)變?yōu)門SP的最大優(yōu)勢。

這款TSP是一塊巨大的硅處理器，幾乎只有矢量和矩陣處理單元以及高速緩存，因此沒有任何控制器或后端，編譯器具有直接控制權(quán)。TSP分為20個超級通道。超級通道按從左到右的順序構(gòu)建：矩陣單元（320 MAC），交換單元，存儲單元（5.5 MB），矢量單元（16 ALU），存儲單元（5.5 MB），交換單元，矩陣單元（ 320個MAC）。

指令流（只有一個）被饋送到超通道0的每個組件中，其中矩陣單元有6條指令，開關單元有14條指令，存儲單元有44條指令，向量單元有16條指令。每個時鐘周期，單元執(zhí)行操作，并將數(shù)據(jù)移到超通道內(nèi)的下一個位置。每個組件都可以從其相鄰鄰居發(fā)送和接收512B。

超級通道的操作完成后，它將所有內(nèi)容傳遞到下一個超級通道，并接收上方的超級通道（或指令控制器）擁有的所有內(nèi)容。指令始終在超級通道之間垂直向下傳遞，而數(shù)據(jù)僅在超級通道內(nèi)水平傳輸。

在ResNet-50中，它可以在任何批處理大小下每秒執(zhí)行20,400個推理（I / S），推理延遲為0.05毫秒。Nvidia的Tesla V100可以以128的批量大小執(zhí)行7,907 I / S，或者以1的批量大小執(zhí)行1,156 I / S。

但有了 Groq 的硬件和軟件，編譯器就可以準確地知道芯片的工作方式以及執(zhí)行每個計算所需的時間。編譯器在正確的時間將數(shù)據(jù)和指令移動到正確的位置，這樣就不會有延遲。到達硬件的指令流是完全編排好的，使得處理速度更快，而且可預測。

開發(fā)人員可以在 Groq 芯片上運行相同的模型 100 次，每次得到的結(jié)果都完全相同。對于安全和準確性要求都非常高的應用來說（如自動駕駛汽車），這種計算上的準確性至關重要。另外，使用 Groq 硬件設計的系統(tǒng)不會受到長尾延遲的影響，AI 系統(tǒng)可以在特定的功率或延遲預算內(nèi)進行調(diào)整。

這種軟件優(yōu)先的設計（即編譯器決定硬件架構(gòu)）理念幫助 Groq 設計出了一款簡單、高性能的架構(gòu)，可以加速推理流程。該架構(gòu)既支持傳統(tǒng)的機器學習模型，也支持新的計算學習模型，目前在 x86 和非 x86 系統(tǒng)的客戶站點上運行。

根據(jù)官方發(fā)布的新聞稿，該TSP已經(jīng)作為Nimbix Cloud的加速器面向部分客戶開放。
?
來源：cnBeta