在SIGGRAPH 2023上，NVIDIA宣布推出全新的NVIDIA L40S GPU以及搭載L40S的NVIDIA OVX服務器。L40S GPU和OVX服務器主要針對生成式人工智能模型的訓練和推理環節，有望進一步提升生成式人工智能模型的訓練和推理場景下的計算效率。來源參考“英偉達發布L40S GPU，中高速光模塊或將受益”。

L40S基于Ada Lovelace架構，配備有48GB的GDDR6顯存和 846GB/s 的帶寬。在第四代 Tensor 核心和 FP8 Transformer 引擎的加持下，可以提供超過 1.45 PFLOPS 的張量處理能力。根據英偉達給出的數據，在微調（Fine-tune）和推理場景的測試用例下，L40S 的計算效率較 A100 均有所提高。

相比于 A100 GPU，L40S 在顯存、算力等多方面有所差異：

（1）L40S采用較為成熟的GDDR6顯存，相比A100與H100使用的 HBM 顯存，在顯存帶寬上有所降低，但技術更成熟，市場供應較為充足。

（2）L40S 在 FP16 算力（智能算力）上較 A100 有所提高，在 FP32 算力（通用算力）上較 A100 提高明顯，更適應科學計算等場景。

（3）L40S 在功率上較 A100 有所降低，有利于降低數據中心相關能耗。

（4）根據 Super Micro 的數據，L40S 在性價比上較 A100 更有優勢。

與A100 類似，L40S 通過 16 通道的 PCIe Gen 4 接口與 CPU進行通信，最大雙向傳輸速率為 64 GB/s。相比之下，NVIDIAGrace Hopper 通過 NVLink-C2C 技術將 Hopper 架構的 GPU 與Grace 架構的 CPU 相連，在 CPU 到 GPU、GPU 到 GPU 間實現900 GB/s 的總帶寬，較 PCIe Gen 5 快 7 倍。

基于Ada Lovelace架構的L40S，配備有48GB的GDDR6顯存和846GB/s的帶寬。在第四代Tensor核心和FP8 Transformer引擎的加持下，可以提供超過1.45 PetaFLOPS的張量處理能力。

對于算力要求較高的任務，L40S的18,176個CUDA核心可以提供近5倍于A100的單精度浮點（FP32）性能，從而加速復雜計算和數據密集型分析。

此外，為了支持如實時渲染、產品設計和3D內容創建等專業視覺處理工作，英偉達還為L40S 還配備了142個第三代RT核心，可以提供212TFLOP的光線追蹤性能。功耗同時也達到了350瓦。

對于具有數十億參數和多種模態的生成式AI工作負載，L40S相較于A100可實現高達1.2倍的推理性能提升，以及高達1.7倍的訓練性能提升。

在L40S GPU的加持下，英偉達還針對數據中心市場，推出了最多可搭載8張L40S的OVX服務器。英偉達方面宣布，對于擁有8.6億token的GPT3-40B模型，OVX服務器只需7個小時就能完成微調；對于Stable Diffusion XL模型，則可實現每分鐘80張的圖像生成。

L40S = 兩個L40 用準先進封裝（非CoWoS），利好國內先進封裝，畢竟高端2.5D~3D不行，給國內2.2D封裝指了一條明路，面對日益高漲的AI需求，分析與判斷如下： （1）由于PCIe Gen4接口的限制，L40S在GPU網絡計算上的應用有所限制，因此對目前800G光模塊的需求量影響有限。 （2）相較于A100，L40S在部分面向生成式人工智能模型的應用場景下有計算效率上的優勢，且更具性價比。 （3）相較于A100，L40S使用GDDR6等相對成熟技術，有助于確保上游供應的穩定。 （4）L40S的前述優勢可能促使下游云廠商加大采購，或將為以200G和400G光模塊為代表的中高速光模塊帶來新的增長空間。

編輯：黃飛

?