背景

近年來，隨著AIGC的發(fā)展，生產(chǎn)力的生成方式、產(chǎn)品形態(tài)都在發(fā)生重大的變化。計算規(guī)模和模型規(guī)模的不斷增大，尤其是大模型的出現(xiàn)和廣泛應(yīng)用對算力的需求呈現(xiàn)出爆發(fā)式的增長。這一系列的變化對計算架構(gòu)提出了新的挑戰(zhàn)，首先是系統(tǒng)規(guī)模越來越大，系統(tǒng)結(jié)構(gòu)越來越復雜；其次計算形態(tài)的變革，傳統(tǒng)的計算形態(tài)，主要是基于CPU或GPU的同構(gòu)計算越來越難以滿足算力的持續(xù)增長。

在這一背景下，Chiplet成為非常有潛力的設(shè)計方法和解決方案。Chiplet架構(gòu)可以將SoC進行拆分重組，將主要功能單元如計算、存儲、傳感等轉(zhuǎn)變成芯粒的形式，從而支持復雜系統(tǒng)的異構(gòu)集成。而將各種芯粒重構(gòu)成為一個完整的系統(tǒng)則需要依賴D2D接口對其進行互聯(lián)，尤其是當設(shè)計人員需要構(gòu)建一個包含多種第三方芯粒的復雜系統(tǒng)時，一個統(tǒng)一的D2D互聯(lián)接口成為不可或缺的組件。在此背景下，UCIe、BoW、OpenHBI等D2D互聯(lián)接口協(xié)議應(yīng)運而生，旨在構(gòu)建一個統(tǒng)一的D2D互聯(lián)框架。盡管協(xié)議不盡相同，D2D互聯(lián)接口的底層技術(shù)存在著較多的共性，而這些共性技術(shù)是D2D接口設(shè)計人員非常重要的研究內(nèi)容。

本文將從D2D接口的信道特點、D2D接口的技術(shù)指標，D2D接口的設(shè)計思考和D2D接口的設(shè)計流程革新等方面來淺談D2D互聯(lián)接口的共性技術(shù)。
?
D2D接口的信道特點

信道條件通常是接口研究的起點，接口電路的架構(gòu)搭建、微結(jié)構(gòu)選取到具體電路的實現(xiàn)無不以信道特性作為出發(fā)點，D2D接口的設(shè)計也不例外。相比傳統(tǒng)高速接口，D2D接口的信道表現(xiàn)了較多新的特點，這主要是由D2D接口的應(yīng)用環(huán)境和封裝形式所帶來的。眾所周知，D2D接口主要用于芯粒間的高帶寬數(shù)據(jù)互聯(lián)，這一應(yīng)用場景決定了D2D接口信道的兩個主要特點：一、信道長度較短，一般局限在封裝內(nèi)部；二、信道數(shù)量大，布線密集。同時，這一應(yīng)用場景也決定了D2D接口往往面對較為先進的封裝形式，其布線通道通常是基板（substrate）甚至是硅中介層（silicon interposer），我們分別稱之為D2D接口的標準封裝（standard package）和先進封裝（advanced package）
。
相比以PCB走線為主的傳統(tǒng)互聯(lián)方式，D2D標準封裝和先進封裝的顯著特點是節(jié)距（pitch）的減小。在標準封裝中，芯片凸點（bump）的節(jié)距從傳統(tǒng)封裝的0.5~1mm減小到100~200um，而在先進封裝中，這一物理尺寸進一步微縮到30~60um。這一變化首先帶來了一系列信道物理尺寸的同步微縮，包括互聯(lián)走線的線寬、線距和金屬厚度等。而這些物理尺寸的微縮進一步引起了信道電學特性的改變。概括而言，從傳統(tǒng)封裝到先進封裝，信道的單位長度電阻顯著增大，而其單位長度的等效電感和電容基本保持不變。考慮到在D2D標準封裝和先進封裝下其信道長度顯著縮短，信道整體的等效電感和電容顯著縮小。具體而言，先進封裝下的D2D信道的電學特性變化主要表現(xiàn)在如下方面：

插入損耗（insertion loss）

得益于D2D互聯(lián)間距較短，相比傳統(tǒng)的高速互聯(lián)接口，D2D接口信道的損耗較低。我們考察了多種D2D互聯(lián)協(xié)議的參考信道，在其最高工作頻率下的信道損耗均小于-6dB，在實際設(shè)計信道的過程中，這一指標通常可以控制得更加優(yōu)越（-2~-3dB）。較低的信道損耗使得高階均衡不再是一個必須項，同時，簡單的調(diào)制方式（如NRZ）就能實現(xiàn)較高數(shù)據(jù)率的傳輸，這些特點均為高能效數(shù)據(jù)傳輸提供了有利條件。

反射（reflection）

得益于D2D信道電學特性的變化趨勢（較高的阻抗，較小的等效電感和電容），相比傳統(tǒng)信號，D2D信道的反射特性得到了較大程度的優(yōu)化，尤其是在先進封裝下，信道對反射敏感的頻率范圍進一步推高，這一特點為D2D接口的端接方案提供了更大的空間。在D2D信道條件下，發(fā)射端的源阻抗和接收端的端接阻抗可以不要求完全匹配，設(shè)計人員可以選取更小的源阻抗和更大的端接阻抗以獲取更大的信號擺幅和更小的功耗。在互聯(lián)非常短的極端情況下，設(shè)計人員甚至可以選擇舍棄端接電阻。
?

串擾（crosstalk）

串擾是D2D信道設(shè)計所面臨的主要問題。由于D2D接口通常具有龐大的引腳數(shù)量，因此布線面積會非常受限，這將導致一些傳統(tǒng)的結(jié)論在D2D互聯(lián)場景下不再適用。通常而言，設(shè)計人員克服串擾的常用方法包括采用差分信號線以及引入屏蔽線等，而研究表明，在面積受限的情況下，單端非屏蔽方案相比差分屏蔽線方案具有更好的串擾特性，這是D2D信道顯著區(qū)別于傳統(tǒng)信道的一個重要特點。鑒于此，D2D信道的串擾特性更多地需要從返回路徑上進行優(yōu)化，比如采用帶狀線而非微帶線結(jié)構(gòu)，采用更薄的介質(zhì)層，更完整的參考平面等。

?
D2D接口的技術(shù)指標

對D2D接口的技術(shù)指標的考察揭示了D2D高速接口的技術(shù)趨勢。我們整理了國內(nèi)外多個較為常見的D2D接口協(xié)議的技術(shù)指標，從中可以看到D2D高速接口的一些共性技術(shù)要求。基本的技術(shù)指標如封裝形式（凸點節(jié)距）、信道長度、數(shù)據(jù)位寬、最高速率等本質(zhì)上相當于設(shè)計參數(shù)，也可以認為是D2D接口的功能指標。

?
我們看到，多數(shù)D2D接口協(xié)議均支持標準封裝和先進封裝，少數(shù)協(xié)議僅支持先進封裝。在標準封裝下，典型的信道長度通常在50mm以下，數(shù)據(jù)位寬多為16線；而在先進封裝下，信道長度僅為數(shù)個mm，而數(shù)據(jù)位寬通常會比標準封裝大很多，典型值在32~64線之間。通常來說，D2D接口的最高數(shù)據(jù)率對標準封裝和先進封裝而言沒有明顯區(qū)分，一般在16~32Gbps之間。

真正考驗D2D接口設(shè)計能力的是以下兩個性能指標：時延（latency）和能效（power efficiency）。D2D接口的時延指標通常在幾個ns，該指標決定數(shù)據(jù)傳輸?shù)膶嶋H吞吐率，是直接影響系統(tǒng)性能的重要因素。D2D接口的能效指標一般在1pJ/b以下，先進封裝下的這一數(shù)值還會進一步降低。由于D2D接口傳輸?shù)臄?shù)據(jù)率非常龐大，其功耗十分可觀，甚至在整個系統(tǒng)功耗中也往往占據(jù)了相當大的一部分，因此能效對于D2D接口而言同樣是一個至關(guān)重要的指標。

出于對系統(tǒng)性能的考量（換言之對D2D接口時延和能效性能的考量），我們將進一步審視D2D接口設(shè)計參數(shù)的選取。首先，為確保系統(tǒng)所需要的帶寬，我們通常認為更高的數(shù)據(jù)率是更好的選擇，但是更高的數(shù)據(jù)率通常意味著更低的能效，甚至在特定情況下還會導致更大的時延。因此，在某些情況下，適當降低數(shù)據(jù)率，同時配合更大的數(shù)據(jù)位寬可能是一個更好的方案。當然，更大的數(shù)據(jù)位寬需要占據(jù)更大的芯片面積，此時設(shè)計者可能需要考慮采用更小的凸點節(jié)距，甚至采用先進封裝等更為復雜的方案來縮小接口電路的面積。從上述分析中可以看到，D2D接口電路的設(shè)計參數(shù)選取本質(zhì)上仍是性能與成本的折中，如何實現(xiàn)有限成本（芯片面積，研發(fā)周期等）下的時延、能效最優(yōu)化是D2D接口設(shè)計者始終思考的問題。

在上述考量下，總結(jié)來說，對于標準封裝的D2D接口，較優(yōu)的設(shè)計選擇是采用最大的數(shù)據(jù)率和較小的數(shù)據(jù)位寬來實現(xiàn)帶寬和面積的平衡；而對于先進封裝的D2D接口，較優(yōu)的設(shè)計選擇是采用適中的數(shù)據(jù)率和較大的數(shù)據(jù)位寬，從而在確保帶寬需求的情況下爭取更好的能效性能。
上述分析雖然針對D2D標準封裝和先進封裝，對更為先進的3D封裝也同樣適用。在最近發(fā)布的UCIe 2.0中，協(xié)議定義了UCIe 3D接口的設(shè)計指標。在該指標中，接口的數(shù)據(jù)率進一步降低到4Gbps，以接近系統(tǒng)中邏輯電路的工作頻率，從而實現(xiàn)極致的時延和能效性能；同時，協(xié)議通過指定較大的位寬和極小的節(jié)距以確保該接口的數(shù)據(jù)帶寬和帶寬密度。
?
奇異摩爾作為AI網(wǎng)絡(luò)全棧式互聯(lián)架構(gòu)產(chǎn)品及解決方案提供商，核心產(chǎn)品不僅覆蓋基于提升單個芯片算力的UCIe V1.1 Die2Die IP（32Tg/s帶寬），Chiplet互聯(lián)芯粒2.5D/3D IO Die，還為AI智算中心提供面向北向Scale out網(wǎng)絡(luò)的AI原生智能網(wǎng)卡，面向南向Scale up網(wǎng)絡(luò)的片間加速芯粒RDMA G2G等全鏈路產(chǎn)品解決方案。
奇異摩爾以創(chuàng)新為核心驅(qū)動、以技術(shù)探索新場景、以生態(tài)構(gòu)建新的半導體格局、為高性能AI計算奠定穩(wěn)固的基石。
?
D2D接口的設(shè)計思考

D2D接口的設(shè)計是一項系統(tǒng)而又細致的工作，其中最為困難從而也是最有價值的部分正是那些可以提升D2D接口性能的設(shè)計方法。如上所述，時延和能效是D2D接口最為重要的性能指標，下面我們就從這兩個方面淺談D2D接口設(shè)計的一些思考。

時延

以設(shè)計方法和流程而言，D2D接口電路通常都可以分為數(shù)字電路和模擬電路兩部分。在D2D接口設(shè)計中，這兩部分通常由不同的設(shè)計者來承擔。自然地，設(shè)計者通常會從這兩個部分去分別優(yōu)化D2D接口的時延。比如，在數(shù)字電路設(shè)計中，嘗試采用更高的工作頻率和更精簡的流水線結(jié)構(gòu)等；同樣，在模擬電路設(shè)計中也可以通過采用合理的串并轉(zhuǎn)換電路結(jié)構(gòu)來縮小時延。

然而，一個可能對時延影響更為顯著卻往往容易被忽視的環(huán)節(jié)是模擬電路和數(shù)字電路的接口部分。這是因為數(shù)字電路和模擬電路往往處在不同的時鐘域中，而數(shù)據(jù)的跨時鐘域傳輸需要經(jīng)過同步。通常來說，設(shè)計人員一般會采用FIFO來對數(shù)據(jù)進行跨時鐘域同步，這一過程將會帶來數(shù)個時鐘周期的時延。這一開銷在大多數(shù)場景下無足輕重，但是對于D2D接口而言卻可能是無法承受的。因此，如何處理數(shù)模接口上的數(shù)據(jù)同步問題是優(yōu)化D2D接口延時的重要課題。

優(yōu)化數(shù)模接口上的時延的中心思想是在完成數(shù)據(jù)同步的基礎(chǔ)上縮小甚至取消FIFO所帶來的時延開銷。對此，我們提供了兩種可行的方案：邊沿調(diào)整技術(shù)和FIFO重置技術(shù)。邊沿調(diào)整技術(shù)將數(shù)據(jù)的跨時鐘域操作視為一次數(shù)據(jù)采樣，其核心思想是通過調(diào)整算法搜索到最優(yōu)的采樣窗口對數(shù)據(jù)進行采樣，從而完成跨時鐘域操作，該方案可以將時延開銷由數(shù)個時鐘周期減小到半個時鐘周期。FIFO重置技術(shù)是將FIFO從數(shù)模接口轉(zhuǎn)移到模擬電路內(nèi)部的串行時鐘域上，假設(shè)模擬電路中的串并轉(zhuǎn)換比為N，該方法可以將時延開銷減小到原始方案的N分之一。

能效

能效優(yōu)化所涉及內(nèi)容則更為廣泛，大到整個D2D接口架構(gòu)的選取，小到某個具體電路的實現(xiàn)，都可能與最終的能效特性有密不可分的聯(lián)系。這里我們將選取兩個典型的例子來討論基于能效優(yōu)化的一些設(shè)計實現(xiàn)方法。

D2D接口的時鐘方案是D2D接口架構(gòu)設(shè)計的一個重要內(nèi)容。通常對于16~32Gbps數(shù)據(jù)率的接口設(shè)計而言，半速率架構(gòu)是一個較為常用的選擇，因其結(jié)構(gòu)簡明且性能魯棒。但是對于D2D接口，尤其是工作在較高數(shù)據(jù)率的D2D接口，半速率架構(gòu)對于能效性能而言可能不是一個最優(yōu)方案。因為D2D接口的數(shù)據(jù)位寬通常較大，這意味著D2D接口的片上時鐘分布網(wǎng)絡(luò)較傳統(tǒng)的高速接口電路遠為龐大，較高的時鐘頻率帶來的時鐘分布網(wǎng)絡(luò)的功耗開銷將變得十分可觀。因此，對于工作在較高數(shù)據(jù)率的D2D接口來說，采用四分之一時鐘速率架構(gòu)或是一個對能效性能更加友好的方案。
?

從具體的電路設(shè)計角度，去偏斜（de-skew）電路是D2D接口中一個非常重要的模塊，同時也是與整個接口的能效特性關(guān)系非常緊密的模塊。去偏斜電路的作用是調(diào)節(jié)D2D接口中每個通道的時延，從而將所有通道輸出信號的時間偏差限制在極小的范圍內(nèi)。對于去偏斜電路的設(shè)計，延時鏈結(jié)構(gòu)是一個常用的選擇。但是當該模塊需要覆蓋較大的偏斜時，延時鏈結(jié)構(gòu)需要引入較大的延時，這同時也會帶來較大的功耗。因此，出于能效的考量，基于相位內(nèi)插器（PI）的電路結(jié)構(gòu)可能是更適合D2D接口的電路實現(xiàn)方案。
?
D2D接口的設(shè)計流程革新

D2D接口作為一種新興的高速接口，表現(xiàn)出很多不同于傳統(tǒng)高速接口的技術(shù)特點，而這些新的特點也對傳統(tǒng)的IC設(shè)計流程提出了挑戰(zhàn)。由上面討論可以看到，D2D接口是少數(shù)對數(shù)字電路、模擬電路和封裝都有極高設(shè)計要求的系統(tǒng)，而D2D接口設(shè)計對設(shè)計方法和流程的挑戰(zhàn)則主要集中在數(shù)字電路與模擬電路、芯片與封裝的界面銜接上。

對于數(shù)字電路和模擬電路界面，傳統(tǒng)的設(shè)計方法在設(shè)計流程上通常只對數(shù)字電路進行時序約束和分析，在模擬電路側(cè)，一般僅通過仿真確保數(shù)模接口界面的時序。對傳統(tǒng)的高速接口而言，這樣的流程通常就可以滿足設(shè)計需求，而對于D2D高速接口，由于其大帶寬和低延時特性，其數(shù)模接口工作在更高的頻率，傳統(tǒng)的設(shè)計流程已然難以滿足數(shù)模接口界面的時序要求。因此，在D2D接口設(shè)計的過程中，設(shè)計人員還需要在模擬電路側(cè)應(yīng)用時序約束和分析流程，包括刻畫模擬電路邊界處器件的時序特性、對其編寫約束條件，并整合到數(shù)字電路的時序分析流程中進行統(tǒng)一的時序優(yōu)化和收斂。

對于芯片和封裝的界面的處理則主要集中在信道建模問題上。在傳統(tǒng)的高速接口電路設(shè)計流程中，封裝設(shè)計人員通常對信道進行單獨建模，通過電磁場仿真，提取信道的仿真模型（如S參數(shù)模型），并提供給電路設(shè)計者進行仿真驗證。在D2D接口設(shè)計中，尤其是先進封裝甚至是3D封裝下的D2D接口，較傳統(tǒng)的高速接口有兩個顯著的區(qū)別：一是端口數(shù)量顯著增加，二是信道條件更加規(guī)則，各端口往往面對較為簡單且一致的信道條件。在第一個變化下，傳統(tǒng)的設(shè)計流程將消耗大量的設(shè)計資源，使設(shè)計工作變得低效；而第二個變化則為信道的統(tǒng)一建模提供了機會。在先進封裝尤其是3D封裝下，對信道建立集總器件的簡單模型，并轉(zhuǎn)化為線延時融合到電路時序分析的流程中實現(xiàn)全鏈路的時序優(yōu)化將成為一種高效的主流設(shè)計方法。
?