摘要

2022年11月9日-10日，第十屆數據中心標準峰會在北京隆重召開，峰會以“匯聚雙碳科技 夯實數據之基”為主題，康普北亞區技術總監吳健在本次峰會上以《尋找數據中心網絡發展的確定性》為題發表演講，現將精彩內容整理如下，供數據中心廣大從業者學習交流。

以下為演講實錄

今天的世界有很多的不確定性因素，“在不確定性中找到確定性”尤為重要。對于網絡來說，各種技術流派都在發展，迭代更新日新月異，我們總在思考如何在發展中找到確定性的因素。

高密度與節能

第一個確定性就是“高密度”。不同的從業者對高密度的理解可能不一樣，有人認為是配電的密度，也可能是制冷的密度，可能是空間密度，也可能是網絡接口的密度。對于網絡來說，“高密度”更多地體現著高速率和高性能。

以太網的發展

IEEE組織每年都會更新以太網發展的線路圖，我們已經走過了一個時代，那就就是10G到100G的時代；那么接下來，我們會進入一個新的時代，我們需要思考100G之后的時代是什么技術路線？100G之后的確定性是什么？100G之后發展的決定性因素又是什么？ 放眼200G、400G、800G、1.6T等各種前瞻性技術，100G之后最具有確定性和生命力的應該是400G。縱觀線路圖我們仍然能找到一個參數、一個因素、或一個確定性，那就是：四倍速迭代。有了25G單通道能力，于是就有了100G的網絡；有了100G的單通道，于是就有了400G的網絡；有了200G的應用，也很容易達到800G網絡；當400G成熟時，必然會成型 1.6T的網絡，這就是確定性。以太網已經不再延續過去1M，100M，1000M，10G這樣的10倍速迭代。

交換機的發展

從最近四代網絡交換機的技術發展來看，基本上印證了高密度的趨勢。隨著數據交換密度越來越高，芯片集成度也越來越高。例如25.6T交換機需要14納米的芯片支持，到51.2T需要7納米的技術。在網絡技術發展過程中，有一個非常重要的決定性因素，實現高效率地數據交換，必須不斷地基于單通道疊加復用，交換機內借助于電氣通道的復用，交換機外借助于光纖通道的堆疊，才能達到高速率。這就是搭建高速網絡架構地底層邏輯。 所以確定性因素是什么？要達到更高速的數據交換，必須要有更高速的單通道能力。通俗地說，服務器速率決定著網絡速率的迭代或疊加需求，而單通道速率則是由光電芯片決定的。光電轉換的通道速率，由芯片制成技術決定，進而最終形成高密度交換機的成果。

大家的個人經驗是，服務器作為計算單元與交換機路由器等網絡傳輸設備來比較，前者更耗能。隨著網絡速率的迭代，事實是否如此？我們來看一下數據分析，從2010年到2022年，這12年中帶寬增長了80倍；這是從交換機的升級過程來計算的，比如從640G交換容量發展到今天的51.2T交換容量，速率提高了80倍，能耗提升了22倍。這時我們看到一個好消息，也看到一個壞消息：好消息是密度提高，能效提高了，更節能了；壞消息是單一設備能耗的絕對值提升了，基礎設施面臨挑戰。

從能耗的細分組成來看，總能耗提升了22倍，而與光電器件相關的能耗卻提升了26倍之多；實驗數據顯示，隨著速率提高，耗能貢獻最大的不是CPU，不是GPU，而是光電轉換器件，是光通訊器件。所以通訊能耗增長速率遠遠大于計算處理器的能耗，意味著當網絡向高速邁進時，光通訊技術，以及光電芯片的技術發展決定著整個網絡的能耗。這就是我要給大家的一個提示：重視網絡設備的能耗。當然，這里的通訊是指廣義的通信，包含了IT設備內部的數據交換和IT設備外部的傳輸。

從長期的技術演進看，ASIC的耗能不再占據IT設備耗能的主導地位，此類現象只在IT界存在嗎？ 如果把人的大腦與數據社會的數據中心做類比，人腦是人體耗能最高的單一器官，大約耗掉人體20%的能量。這里面大概有800億到1000億個神經元，這些神經元主要負責計算，仿佛是信息社會的服務器，那么神經系統的組成部分中，那個部分是最耗能的呢？科學研究表明是軸突和樹突。軸突可以理解為單模光纖完成遠端連接，樹突可以理解為多模光纖完成近端連接，它們一起來完成人腦計算的溝通和通訊。實驗數據顯示神經元間的通訊耗能竟然是計算耗能的35倍， 我們的大量能量不是用在計算上，而是用在通訊上，用在溝通上，用在連接上！或許超出了各位的傳統認知。 正如數據中心作為一個高耗能的場地，其帶動和代表著信息社會這個“人體”的智慧程度，同時我們必須重視另一個趨勢：能量不僅僅用于計算上，而是更多地用在連接上。隨著高性能網絡的發展，未來數據中心網絡通訊的耗能有可能大幅度增加。這是對基礎設施的挑戰之一。

“高密度”是確定的，如果有了高密度的交換機，新的架構就可以拋棄很多低性能的交換機，被少量高密度高性能的交換機所取代，從而達到低延時，高可用性，節能，節省總成本的目的。這就是我提到的第一個確定性-高密度。

網絡架構的優化

再來看第二個確定性，網絡架構的演進。很多年前，數據中心網路在“東西流量”大于“南北流量”的業務模型驅動下，從傳統三層架構在向（Leaf-Spine）扁平架構推演。而所謂Leaf-Spine是邏輯上的兩層架構，并非真正的兩層架構，因為在Leaf-Spine交換機互聯之下，通常會下掛一個TOR交換機。如果一組服務器群要連入到Leaf-Spine云中去，它至少跳轉了三級設備區域：由TOR交換機，到Leaf交換機，最后到Spine交換機。而此時，盡管大容量的交換效率提升了很多，東西流量的可靠性和一致性提升很多，但是依然沒有跳出三層交換的構架模型。過去，TOR交換機在數據中心中起到有效的服務器接入作用，在高性能高密度數據中心中完成收斂、轉發、匯聚等作用， 功不可沒。直到顛覆性的技術出現，該架構將面臨挑戰。

我們需要顛覆性的技術就是VSFF，便于中文表述，在這里我把它稱作“微雙工”。它是一種新型連接器，適用于高密度的連接，也是一種網絡收斂策略，借助于微雙工可以把高速接口分成兩個或四個低速接口，就是“一對二”或“一對四”的連接關系。四倍速率的確定性因素再次出現。同時，微雙工的出現，為“去除TOR”帶來了一個契機。 眾所周知，LC是一種非常普遍的雙工連接器，而微雙工比LC尺寸還要小，配合接口高密度的趨勢，更加微小靈活的連接器應運而生，目前國內外有很多連接器廠商正在提供自有專利的VSFF接口。如你所知，MPO也是一種高密度接口，那么為何還需要微雙工呢？這里還有一個驅動因素，那就是靈活性。用一根MPO-LC扇形分支纜，可以形成一對多的分支連接關系，比如MPO12分為6組LC雙工，但是在MPO側則是固定的，無法快速拆分與聚合。高密度和靈活性是IT技術發展的兩個必要因素和重要因素。

到了400G/800G時代，微雙工出現后，可以在Leaf/Spine網絡架構中去除TOR置頂交換機。隨著單通道100G的成熟，服務器接口速率可能提升到100G，這時TOR交換機夾在100G服務器和400Gleaf交換機之間，只會制約網絡速率和增加網絡延時，因此必須去除TOR這一層有源設備。如果不這樣優化架構，TOR這種過去的“法寶” 將成為今后的桎梏，它帶來了更多的能耗、更多轉發跳轉和更大的延時。400G以后的網絡用物理層的收斂替代數據鏈路層的收斂，使得成本更低、能耗更低、密度更高、延時更低。

去除TOR置頂交換機，作為一個長期目標是確定的。這個確定性在布線系統的設計層面來看將帶來一個更有利的確定性姿態，那就是列中或列頭的布線模式將更有生命力和普適性。通過高速光纖系統來對服務器群的高速接口收斂接入Leaf/Spine矩陣中，讓網絡架構極簡，讓網絡極可靠。這是大勢所趨，這就是我今天提到的第二個確定性--提高物理層的收斂能力。

光纖的節能選擇

第三個確定性就是光纖的合理選擇。網絡系統的提速，其實和社會交通運輸路網的提速模型如出一轍。三個維度而已：1）提高車速；2）提高車的容量容積；3）提供更多的車道。 PAM4編解碼相當于“車”的容量定義；波特率相當于車輛的最高時速；光纖通道的并行使用，支持傳輸能力達到2倍、4倍、8倍、16倍的帶寬提升。車已確定，車速也確定，大幅度提高容量的方式只剩下一個：建立更多的通道。光纖系統可以建立更多的物理通道（光纖），也可以建立更多的邏輯通道（光波），從而有了單模和多模的選擇問題，以及微型連接器的選擇問題。 在企業數據中心中，單模和多模光纖系統誰占比更多呢？

各位是否可以從上圖找到一些確定性的因素？我們至少可以看到兩點：一，多模仍然占據主導地位；二，并行技術的增長趨勢更為明顯。也就是MPO形態的多模和單模預端接系統都會快速增長。多芯或多波長并行技術的發展，就是因為需要建立更多的通道，從而快速達到400G/800G的應用。

多模光纖已經在數據中心中被廣泛使用。多模有很多優勢，例如成本更低、能耗更低、易于維護等等，所以多模仍然在高速數據中心有用武之地。盡管所有的連接任務單模系統都可以勝任，但是在數據中心里面，考慮到從IT側節能考慮，IT設備本身的節能會對整個機房的總體節能有非常大的貢獻，多模的收發器件和多模的光器件對節能貢獻非常顯著。要節能，多模必是首選。

要考慮節能，必須要重視多模。在應用標準里，無論400G還是800G，仍然保留著非常多的多模光纖選項。例如400GBAE-SR8， 400GBASE-SR4.2， 800GBASE-SR8等等。

到了800G時代多模是否會退出市場？事實上在800G的市場里，多模仍然在努力，比如800GBASE-VR8和800GBASE-SR8都是基于8發8收，借助MPO16的多模光纖技術線路。前者是50米的應用場景，后者是面向100米的應用場景。 單模光纖和多模光纖自從光通訊誕生以來就成為彼此成就的兄弟。在數據中心里，也是攜手前行。多模系統的優勢是節能，成本低，缺點是距離太短；單模系統應用距離非常自由，但缺點是成本高，耗能太高，連接器要求進一步提高。 在兩套技術系統發展過程中，二者也在互相借鑒，互相學習。單模和多模是如何互相學習呢？ 第一，我們剛剛提到，提高“車”的容量，需要優化編解碼方式，比如PAM-4比NRZ的信息容量高，但是PAM4對于插入損耗IL和回波損耗RL非常敏感，這就需要在網絡傳輸中盡量優化回波損耗這一參數。在RL這方面單模過去做得非常不錯，這就是APC端面連接器的廣泛采用。

但是多模能否也在400G之后，向單模學習，進一步優化傳輸能力，避免回波噪聲所帶來的影響？答案是確定的，多模在學習單模，我們創造一種APC斜面研磨面的多模系統來減少回波噪聲的影響，從而可以更好地支持信號完整性，達到更高的帶寬。

單模之所以在通訊行業做到長距離，高帶寬的應用，激光器和WDM波分復用技術功不可沒。那么多模是否可以學習借鑒單模的這種波分復用模式呢，答案是肯定的。光纖科學家們多年前就已經建立了短波分復用的標準SWDM，攜手OM5寬帶多模光纖，實現4倍帶寬，同時進一步延展應用距離。這就是OM5誕生的背景，從而使多模在數據中心領域有持久的生命力。OM5的核心問題不僅在于距離，也不僅在于850nm波長的表現，還在于850nm之外稍長波長的表現，并不是每個廠商的產品都能達到理想模式帶寬。

多模和單模都有自己的用武之地，尤其多模在節能方面的表現更好，這里面提到兩個400G應用在多模方面的標準：400GBASE-SR8和400GBASE-SR4.2，前者消耗更多的光纖，后者推薦配合OM5達到短波分復用的優勢。 在單模應用方面，值得注意的是兩個標準：400G DR4和400G FR4; 其中400G DR4充分反映了單模也吸收了多模的優勢，功率降低，距離縮短。所以數據中心行業特別看好400G DR4的發展，而且500米可以覆蓋數據中心內部絕大部場景的應用距離。400G DR4是一個好例子，敞開胸懷，吸收對方優點，擁抱新技術，可以讓你的數據中心更節能。

不論是單模系統還是多模系統，要做出正確的選擇，必須從設備成本，布線成本和運維成本三個維度綜合分析。從400G的三款單模和多模網絡總成本看，上圖展示了全球頭部互聯網公司采用三種技術的成本對比，很明顯400G SR8作為多模的代表技術，具有做好的成本優勢；對比于企業網數據中心采用三種技術的成本對比，趨勢沒有變，400G SR8地位也沒有變，依照FR4、DR4和SR8的次序逐步降低。多模的成本優勢和節能優勢是確定的。

以不變應萬變

尋找確定性。康普經過15年以上，與數據中心設計建設者和使用者的溝通，一直在聽取客戶的反饋，嘗試建立一套適應性更強，包容性更強，更易于維護的解決方案。什么樣的光纖方案能把所有的技術，所有的不確定性，融合到一個統一的平臺里呢？

比如把所有的MPO8/MPO12/MPO16/MPO24等技術融入進去，把所有的連接器技術融入進去，把智能化融入進去，綠色環保的理念融入進去，形成一個統一的解決方案。它就是PROPEL。PROPEL是驅動力的意思，驅動數據中心進入400G之后的新時代。

以太網速率的提高帶來了技術的多樣性和需求的多樣性。讓PROPEL滿足多樣性的需求，它有多種不同的模塊選擇，并在一個統一平臺里任意組合，滿足高密度，高性能，智能化，易于維護，易于升級的特性。

如果用一句話概括，今天所講的所有確定性因素，都是為了確定一個綠色節能數據中心的發展方向。高密度是為了綠色節能；去TOR架構是為了綠色節能；充分利用多模光纖是為了綠色節能；建立統一融合的平臺也是為了綠色節能。所以綠色節能就是我們確定的追求，謝謝各位！

審核編輯 ：李倩