在過去六個(gè)月里，我們已經(jīng)目睹了人工智能應(yīng)用程序的大規(guī)模增長——ChatGPT、Dall·E、Bard和Bing等。據(jù)估計(jì)，僅ChatGPT在推出兩個(gè)月后，月用戶就達(dá)到了1億。

網(wǎng)絡(luò)I/O瓶頸

人工智能流量的爆炸式增長給網(wǎng)絡(luò)和分布式計(jì)算基礎(chǔ)設(shè)施帶來了瓶頸。Enfabrica在2020年創(chuàng)立，該公司認(rèn)為擴(kuò)展現(xiàn)代高性能分布式計(jì)算的性能和容量受到I/O的限制。內(nèi)存容量快速增長，GPU性能呈指數(shù)級增長，但I(xiàn)/O卻沒有跟上，如下圖所示。

EnfabricaCEO Rochan Sankar表示，人工智能的高級挑戰(zhàn)是“它通過100或200 Gig NIC將海量數(shù)據(jù)輸入/輸出服務(wù)器節(jié)點(diǎn)，而NIC最初是為與CPU配對而設(shè)計(jì)的。”他接著詳細(xì)闡述了與這個(gè)基本問題有關(guān)的三個(gè)問題:

大量的資源滯留。雖然CPU虛擬化做得很好，但GPU和內(nèi)存等昂貴的資源卻沒有得到充分利用;

現(xiàn)有的I/O設(shè)備堆棧效率很低，因?yàn)樗菫椴煌男枨蠖鴺?gòu)建的;

與以太網(wǎng)、PCI和CXL等行業(yè)標(biāo)準(zhǔn)相反，其他創(chuàng)建產(chǎn)品解決方案的公司正在使用“更專有或更孤立”的方法。

解決日益增長的網(wǎng)絡(luò)I/O問題

Enfabrica聯(lián)合創(chuàng)始人Rochan Sankar和Shrijeet Mukherjee在Broadcom、谷歌和Cisco等行業(yè)巨頭工作過，擁有數(shù)十年的網(wǎng)絡(luò)基礎(chǔ)設(shè)施經(jīng)驗(yàn)。正如Sankar解釋的那樣，他們并不是唯一認(rèn)識到迫在眉睫的I/O問題的人，但他們相信有更好的方法來解決這個(gè)問題。有了這些想法，他們組建了自己的團(tuán)隊(duì)，開始致力于顛覆互聯(lián)硅市場，據(jù)估計(jì)，這個(gè)市場的價(jià)值很快就會(huì)達(dá)到200億美元。

Enfabrica設(shè)計(jì)的核心是用其加速計(jì)算結(jié)構(gòu)取代多層網(wǎng)絡(luò)基礎(chǔ)設(shè)施(見下圖)。Sankar表示Enfabrica架構(gòu)“就像一個(gè)輪輻模型”，可以“分解和擴(kuò)展任何計(jì)算資源”。他接著解釋道:“無論是CPU、GPU、加速器、內(nèi)存還是Flash，它們都可以連接到這個(gè)集線器，這個(gè)集線器有效地充當(dāng)了它們的聚合I/O結(jié)構(gòu)設(shè)備。”

Sankar指出，除了在這些系統(tǒng)中引入新的硬件架構(gòu)的挑戰(zhàn)之外，我們還不能改變軟件層。“從一開始就需要付出很多努力。因此，引入硬件技術(shù)或網(wǎng)絡(luò)技術(shù)來迫使這種情況發(fā)生改變實(shí)際上是很有挑戰(zhàn)的。”Enfabrica的目標(biāo)是讓它的硬件“使用與現(xiàn)在相同的接口和API集”運(yùn)行。

行業(yè)標(biāo)準(zhǔn)和開源

包括行業(yè)巨頭英偉達(dá)在內(nèi)的其他公司都在使用專有接口解決方案來解決這一網(wǎng)絡(luò)問題，而Enfabrica則使用PCIe和CXL等行業(yè)標(biāo)準(zhǔn)與開源軟件框架相結(jié)合。

Sanker表示，他們“提供了另一種擴(kuò)展方式”。他認(rèn)為，“英偉達(dá)將在相當(dāng)長一段時(shí)間內(nèi)處于這個(gè)生態(tài)系統(tǒng)的核心地位。”因此，他們并不期望取代英偉達(dá)，而是增強(qiáng)現(xiàn)有的解決方案。“我們可以增加一層高容量內(nèi)存”，客戶可以“利用它來擴(kuò)展非常大的語言模型”。

第一代ACF

第一代高級計(jì)算結(jié)構(gòu)交換機(jī)(ACF-S，如下圖所示）是在臺(tái)積電的5納米FinFET工藝上制造的，該工藝在一定程度上是為這樣的高性能計(jì)算應(yīng)用開發(fā)的。

ACF-S設(shè)計(jì)用于在單個(gè)硅晶片中提供異構(gòu)計(jì)算和內(nèi)存資源之間的多太比特交換和橋接，而不改變設(shè)備驅(qū)動(dòng)程序以上的物理接口、協(xié)議或軟件層。Sankar解釋道，該交換芯片像個(gè)“三明治”，包括“高性能以太網(wǎng)交換管道，一個(gè)大型共享緩沖區(qū)，即所謂的太比特NIC復(fù)制引擎，以及高性能PCIe Gen5和CXL 2.0+交換。”

“這些加速計(jì)算結(jié)構(gòu)產(chǎn)品旨在創(chuàng)建彈性資源池，可以按需聯(lián)網(wǎng)和供應(yīng)，以創(chuàng)建更靈活的實(shí)例。這能夠擴(kuò)展以滿足下一代工作負(fù)載的需求，并以一種可持續(xù)的方式實(shí)現(xiàn)總擁有成本。”

云經(jīng)濟(jì)的超級計(jì)算機(jī)性能

如果目標(biāo)是顛覆一個(gè)200億美元的行業(yè)，那么最好有一些重大改進(jìn)。在我們的討論中，Sankar強(qiáng)調(diào)了他們預(yù)見到的先進(jìn)計(jì)算結(jié)構(gòu)的一些好處:

將AI集群從數(shù)百個(gè)節(jié)點(diǎn)擴(kuò)展到數(shù)千個(gè)節(jié)點(diǎn)

每美元I/O帶寬提高2倍

緩解GPU、DRAM、SSD卡死，提高利用率

降低75%的節(jié)點(diǎn)到節(jié)點(diǎn)延遲

AI集群總擁有成本降低50%

GPU機(jī)架和集群功耗至少降低10%

Sanker認(rèn)為，如果他們成功了，Enfabrica可以幫助“在高性能超級計(jì)算和云規(guī)模分布之間架起一座橋梁”，人工智能是驅(qū)動(dòng)這些需求的核心工作負(fù)載。“人們想要云經(jīng)濟(jì)，但他們想要超級計(jì)算機(jī)的性能。”

Enfabrica計(jì)劃在今年晚些時(shí)候發(fā)布特定產(chǎn)品的公告，有興趣的讀者可以關(guān)注。

審核編輯 ：李倩