Programming Interface

編程模型中介紹了核心語言擴展。它們允許程序員將內核定義為c++函數，并在每次調用函數時使用一些新的語法來指定網格和塊維度。在c++語言擴展中可以找到對所有擴展的完整描述。任何包含這些擴展名的源文件都必須用nvcc編譯。

CUDA runtime中介紹了運行時。它提供在主機上執行的C和c++函數，用于分配和釋放設備內存，在主機內存和設備內存之間傳輸數據，管理具有多個設備的系統，等等。

運行時構建在較低級的C API (CUDA驅動程序API)之上，該API也可由應用程序訪問。驅動程序API通過公開諸如 CUDA contexts (the analogue of host processes for the device)和 CUDA modules (the analogue of dynamically loaded libraries for the device.)等較低級別的概念提供了額外的控制級別。大多數應用程序不使用驅動程序API，因為它們不需要這種額外級別的控制，而且在使用運行時時，上下文和模塊管理是隱式的，因此代碼更簡潔。由于運行時與驅動程序API是互操作的，大多數需要一些驅動程序API特性的應用程序可以默認使用運行時API，并且只在需要的地方使用驅動程序API。

Compilation with NVCC

內核可以使用CUDA指令集體系結構(稱為PTX)編寫。內核必須被NVCC編譯成二進制代碼才能在設備上執行。

nvcc是一個編譯器驅動程序，它簡化了編譯c++或PTX代碼的過程 :它提供了簡單而熟悉的命令行選項，并通過調用實現不同編譯階段的工具集合來執行它們。本節概述了nvcc工作流和命令選項。

Compilation Workflow

Offline Compilation

用nvcc編譯的源文件可以包括主機代碼(即在主機上執行的代碼)和設備代碼(即在設備上執行的代碼)的混合。nvcc的基本工作流程包括將設備代碼從主機代碼中分離出來，然后:

• 將設備代碼編譯為匯編形式(PTX代碼) 和/或二進制形式(cubin對象)，
• 通過替換<<<…>>>語法在kernel中引入(并在執行配置中詳細描述)，通過必要的CUDA運行時函數調用從PTX代碼和/或cubin對象加載和啟動每個編譯的內核。

修改后的主機代碼要么以c++代碼的形式輸出，留待使用其他工具編譯。要么在最后編譯階段讓nvcc調用主機編譯器，直接以目標代碼的形式輸出。

應用程序可以：

• 鏈接到已編譯的主機代碼(這是最常見的情況)，
• 或者忽略修改過的主機代碼(如果有的話)，并使用CUDA驅動程序API(參見驅動程序API)來加載和執行PTX代碼或立方體對象。

Just-in-Time Compilation

應用程序在運行時加載的任何 PTX 或 NVVM IR 代碼都被設備驅動程序進一步編譯為二進制代碼。這被稱為即時編譯。即時編譯增加了應用程序的加載時間，但允許應用程序從每個新設備驅動程序帶來的任何新的編譯器改進中受益。這也是讓應用程序在編譯應用程序時還不存在的設備上運行的唯一方法，詳見應用程序兼容性。

當設備驅動程序為某個應用程序實時編譯一些PTX或NVVM IR代碼時，它會自動緩存生成的二進制代碼的副本，以避免在后續的應用程序調用中重復編譯 。當設備驅動程序升級時，緩存(稱為compute cache)將自動失效，因此應用程序可以從設備驅動程序中內置的新即時編譯器的改進中受益。

作為使用nvcc編譯CUDA c++設備代碼的替代方案，NVRTC可以在運行時將CUDA c++設備代碼編譯為PTX。NVRTC是CUDA c++的運行時編譯庫。

Binary Compatibility

二進制代碼是特定于體系結構的 。cubin對象是使用指定目標體系結構的編譯器選項-code生成的.例如，使用-code=sm_35編譯會為計算能力為3.5的設備生成二進制代碼。二進制兼容性可以保證從一個小修訂到下一個小修訂，但不能保證從一個小修訂到前一個小修訂或跨多個大修訂。換句話說，為計算能力X.y生成的立方對象將只在計算能力X.z的設備上執行，其中z≥y。

設備的compute capability由版本號表示，有時也稱為“ SM version ”

PTX Compatibility

一些PTX指令只在具有較高計算能力的設備上支持。例如，Warp Shuffle Functions僅在計算能力3.0及以上的設備上支持。-arch compiler選項指定在將c++編譯為PTX代碼時所假定的計算能力。因此，例如，包含warp shuffle的代碼必須使用-arch=compute_30(或更高)編譯。

為某些特定計算能力而產生的PTX代碼總是可以編譯成具有更大或同等計算能力的二進制代碼 。注意，從較早的PTX版本編譯的二進制文件可能不能使用某些硬件特性。例如，由計算能力6.0 (Pascal)生成的PTX編譯的計算能力7.0 (Volta)的二進制目標設備將不會使用張量核心指令，因為這些在Pascal上是不可用的。因此，最終的二進制代碼可能比使用PTX的最新版本生成的二進制代碼的性能更差。

Application Compatibility

要在具有特定計算能力的設備上執行代碼，應用程序必須加載與該計算能力兼容的二進制或PTX代碼。特別是，為了能夠在未來具有更高計算能力的體系結構上執行代碼(目前還不能生成二進制代碼)，應用程序必須加載為這些設備實時編譯的PTX代碼(參見實時編譯)。

哪一個PTX和二進制代碼嵌入CUDA c++應用程序是由-arch和-code編譯器選項或-gencode編譯器選項控制的，詳見nvcc用戶手冊。例如:

nvcc x.cu
        -gencode arch=compute_50,code=sm_50
        -gencode arch=compute_60,code=sm_60
        -gencode arch=compute_70,code=\\"compute_70,sm_70\"

嵌入與計算能力5.0和6.0兼容的二進制代碼(第一個和第二個-gencode選項)，以及與計算能力7.0兼容的PTX和二進制代碼(第三個-gencode選項)。

生成主機代碼以在運行時自動選擇最合適的代碼來加載和執行，在上面的例子中，將是:

• 5.0二進制代碼用于具有5.0和5.2計算能力的設備
• 6.0二進制代碼用于具有6.0和6.1計算能力的設備
• 7.0二進制代碼用于具有7.0和7.5計算能力的設備
• PTX代碼，在運行時編譯為二進制代碼，用于具有8.0和8.6計算能力的設備。

x.cu可以有一個使用扭曲洗刷操作的優化代碼路徑，例如，這只在計算能力3.0及更高的設備中得到支持。可以使用__CUDA_ARCH__宏根據計算能力區分不同的代碼路徑。它僅為設備代碼定義。例如，當使用-arch=compute_35編譯時，__CUDA_ARCH__等于350.

C++ Compatibility

編譯器前端根據c++語法規則處理CUDA源文件。主機代碼支持完全c++。然而，設備代碼只完全支持c++的一個子集.

64-Bit Compatibility

64位版本的nvcc以64位模式編譯設備代碼(即指針為64位)。64位編譯的設備代碼只支持64位編譯的主機代碼。

同樣，32位版本的nvcc以32位模式編譯設備代碼，32位模式編譯的設備代碼只支持32位模式編譯的主機代碼。

• 32位版本的nvcc可以使用-m64編譯器選項在64位模式下編譯設備代碼。
• 64位版本的nvcc可以使用-m32編譯器選項在32位模式下編譯設備代碼。