NVIDIA CUDA 深度神經網絡庫（cuDNN）是一個 GPU 加速的深度神經網絡基元庫，能夠以高度優化的方式實現標準例程（如前向和反向卷積、池化層、歸一化和激活層）。

全球的深度學習研究人員和框架開發者都依賴 cuDNN 來實現高性能 GPU 加速。借助 cuDNN，研究人員和開發者可以專注于訓練神經網絡及開發軟件應用，而不必花時間進行低層級的 GPU 性能調整。cuDNN 可加速廣泛應用的深度學習框架，包括 Caffe2、Chainer、Keras、MATLAB、MXNet、PaddlePaddle、PyTorch 和 TensorFlow。

在 21.02 NGC 容器上比較使用 cuDNN 7.6.5 的單個 DGX-1V 服務器與使用 cuDNN 8.1.1 的 DGX-A100 的吞吐量。端到端性能趨于收斂。

cuDNN 8.3?的新變化

cuDNN 8.3 針對 A100GPU 進行了優化，可提供高達 V100 GPU 5 倍的開箱即用性能，并且包含適用于對話式 AI 和計算機視覺等應用的新優化和 API。它已經過重新設計，可實現易用性和應用集成，同時還能為開發者提供更高的靈活性。

cuDNN 8.3 的亮點包括：

為基于轉換器的模型提供優化加速；

運行時融合，通過新的運算符、啟發式算法和融合迅速編譯內核；

將下載包大小縮減 30%。

cuDNN 8.3 現以六個較小的庫的形式提供，能夠更精細地集成到應用中。開發者可以下載 cuDNN，也可從 NGC 上的框架容器中將其提取出來。

注冊成為 NVIDIA 開發者計劃會員，下載 cnDNN：https://developer.nvidia.cn/rdp/form/cudnn-download-survey

NGC 框架容器提取：https://catalog.ngc.nvidia.com/

cuDNN?的主要特性

為各種常用卷積實現了 Tensor Core 加速，包括 2D 卷積、3D 卷積、分組卷積、深度可分離卷積以及包含 NHWC 和 NCHW 輸入及輸出的擴張卷積；

為諸多計算機視覺和語音模型優化了內核，包括 ResNet、ResNext、EfficientNet、EfficientDet、SSD、MaskRCNN、Unet、VNet、BERT、GPT-2、Tacotron2 和 WaveGlow；

支持 FP32、FP16、BF16 和 TF32 浮點格式以及 INT8 和 UINT8 整數格式；

4D 張量的任意維排序、跨步和子區域意味著可輕松集成到任意神經網絡實現中；

能為各種 CNN 體系架構上的融合運算提速。

在數據中心和移動 GPU 中采用 Ampere、Turing、Volta、Pascal、Maxwell 和 Kepler GPU 體系架構的 Windows 和 Linux 系統均支持 cuDNN。

審核編輯：劉清

?