NVIDIA 在 GeForce 256 芯片中增加了包括 Vertex Shader 以及 Pixel Shader 等可編程計(jì)算能力，并以 GPU 為相關(guān)繪圖芯片產(chǎn)品定名，顧名思義，GPU 是 Graphics Processor Unit，不像前代 RIVA 架構(gòu)只能單純進(jìn)行繪圖工作，GeForce256 的推出可說是重新定義其繪圖芯片產(chǎn)品，繪圖變成是其芯片功能的一部份，可編程的算力才是未來讓 NVIDIA 發(fā)光發(fā)熱的核心。

不過往后數(shù)年，雖然具備了程序設(shè)計(jì)能力，但實(shí)際上于計(jì)算領(lǐng)域有所發(fā)揮也是 10 年后的事情。這是因?yàn)楫?dāng)時(shí) NVIDIA 借由成功的繪圖架構(gòu)取得市場領(lǐng)先，且和 ATI 的市場大戰(zhàn)正火熱，流處理計(jì)算還沒有很好的應(yīng)用之故，NVIDIA 也沒有意會(huì) GPU 的算力未來會(huì)有如此龐大的潛力。2004 年，由 Bill Dally 帶領(lǐng)的斯坦福大學(xué)團(tuán)隊(duì)針對 GPU 的可編程部分設(shè)計(jì)了許多流處理技術(shù)的計(jì)算架構(gòu)，這些研究成果后來成為 CUDA 的基礎(chǔ)。

后來 NVIDIA 也以相關(guān)研究為基礎(chǔ)，推出通用并行計(jì)算架構(gòu) CUDA，以及針對計(jì)算應(yīng)用的 Tesla 產(chǎn)品線。Bill Dally 對此可說是背后的重要推手之一。在 2009 年，Bill Dally 加入 NVIDIA 后，NVIDIA 在 GPU 計(jì)算的腳步更是飛快發(fā)展。

GPU 從原本在各大學(xué)中單純用來進(jìn)行基礎(chǔ)科學(xué)研究的輔助角色，迅速成為各大超算、數(shù)據(jù)中心的計(jì)算核心，每年全球前五百大超算榜單之中采用 NVIDA 計(jì)算方案的幾乎都名列前茅。而配合 CUDA 生態(tài)的成熟，更從 2016 年大熱的AI 議題中，帶起了機(jī)器學(xué)習(xí)與深度學(xué)習(xí)的應(yīng)用熱潮。

TensorCore 是個(gè)營銷代號，其架構(gòu)的真相就是增加一些相對應(yīng)的指令集，借由這些指令，讓 GPU 可做半精度 (Half- precision) 的矩陣乘積累積，而這是許多深度學(xué)習(xí)算法所使用的的內(nèi)部循環(huán)基礎(chǔ)邏輯。而且它實(shí)際上并沒有改變 GPU 的基本概念。Volta 仍然是一個(gè)貨真價(jià)實(shí)的 GPU，它在渲染圖形方面的性能表現(xiàn)仍是一流水平，加入 TensorCore 并沒有犧牲 GPU 本身的任何特性，反而是創(chuàng)造了雙贏。現(xiàn)在 Volta 可以更好的針對深度學(xué)習(xí)應(yīng)用，同時(shí)也能發(fā)揮百之百的繪圖性能表現(xiàn)。

其實(shí)很多都是關(guān)于數(shù)據(jù)類型的選擇和指令的選擇。GPU 架構(gòu)實(shí)際上是一個(gè)框架，你可以在其中放入不同的數(shù)據(jù)類型和不同的指令來完成不同的應(yīng)用程序。比如說，開普勒架構(gòu)對推理工作不能很好的支持，它也不具備半精度浮點(diǎn)計(jì)算能力。

當(dāng)初數(shù)據(jù)型態(tài)的支持是深度學(xué)習(xí)的關(guān)鍵，而開普勒會(huì)使用 FP32，導(dǎo)致計(jì)算成本非常昂貴。從Pascal 我們開始支持推理計(jì)算以及 FP16 數(shù)據(jù)訓(xùn)練計(jì)算能力，但你不會(huì)說 Pascal 因此就不是GPU 了。Volta 加入 TensorCore 也是類似的情形。Volta 仍然是 GPU，可以做圖形計(jì)算。我認(rèn)為GPU 是非常高效的并行計(jì)算架構(gòu)。而我們并沒有犧牲任何其他的事情來做到這一點(diǎn)。

深度學(xué)習(xí)和圖形學(xué)之間有很大的協(xié)同作用，我們的發(fā)現(xiàn)是，通過深度學(xué)習(xí)，我們可以使圖形更好。然后進(jìn)行視頻研究，開發(fā)圖像抗鋸齒和去噪的新算法，并提供圖像的時(shí)間穩(wěn)定性，這些都是基于深度學(xué)習(xí)。因此，通過擁有深厚的學(xué)習(xí)推理能力，芯片現(xiàn)在實(shí)際上在圖形表現(xiàn)方面會(huì)比沒有 TensorCore 更好。

所以對于實(shí)際上你必須用隨機(jī)門工作的東西，FPGA 比 ASIC 要明顯更弱。FPGA 只能在 FPGA中使用大量硬件模塊的問題上做得很好。所以，如果你已經(jīng)硬連接一些 FPGA 有 18 個(gè) beta 算術(shù)單元來進(jìn)行 DSP 操作，其他的有 14 個(gè)點(diǎn)單元。

當(dāng)你不得不使用 FPGA 上的柵極時(shí)，它的表現(xiàn)會(huì)變得差強(qiáng)人意。也因此我們不認(rèn)為它們是非常有競爭力的。有很多創(chuàng)業(yè)公司正在建立專門的深度學(xué)習(xí)芯片，我們當(dāng)然也很關(guān)注這些發(fā)展。但是我的哲學(xué)總是“我們應(yīng)該做我們認(rèn)為可以做到最好的工作”，而他們的選擇基本限制了他們的發(fā)展空間，以致于不能做得更好，因?yàn)槲覀冋诒M力做到最好。

如果我們以三個(gè)細(xì)分類別的方式細(xì)分深度學(xué)習(xí)的話，分別是訓(xùn)練、推理和 IoT 設(shè)備的推理。對于訓(xùn)練，我們一直在做的是專注于深度學(xué)習(xí)的 GPU。所以如果你光是單純?yōu)榱松疃葘W(xué)習(xí)而建立一個(gè)芯片，那應(yīng)用可能會(huì)過于狹窄，無法兼顧到其他可能的應(yīng)用。而在我們的架構(gòu)中，由于 HMMA 的操作，Volta 架構(gòu)所集成的 TensorCore 可以做到很龐大的數(shù)學(xué)計(jì)算，它只需要一條指令即可完成 128 個(gè)浮點(diǎn)計(jì)算步驟，可以兼顧更多應(yīng)用。

我們確實(shí)有一些對深度學(xué)習(xí)幫助不是那么大的額外的芯片區(qū)塊，比如說針對圖形繪制工作的光柵化 (rasterization) 和紋理映射和合成 (texture mapping and compositing) 部分，但是這個(gè)部分并不大，若是構(gòu)建一個(gè)專用芯片，他們的確可以擺脫一小部分芯片上的非計(jì)算必要區(qū)塊，理論上芯片成本會(huì)更有優(yōu)勢。

雖然我們也可以這樣做，只是沒有任何商業(yè)意義，我們的想法是，最好是做一個(gè)芯片，并能夠做很多事情。不論是繪圖或者是用在數(shù)據(jù)中心，我們想要使用該芯片來盡量做到更多的事情。

近來人們已經(jīng)取得了很大的進(jìn)步，現(xiàn)在人們已經(jīng)超過了 50 量子比特，并且維持量子態(tài)的時(shí)間可以做到更長。但是，對于一個(gè)可行的商業(yè)應(yīng)用程序來說，仍然有數(shù)量級的需求。量子優(yōu)勢在于，在量子計(jì)算機(jī)上運(yùn)行的算法，沒有辦法在傳統(tǒng)計(jì)算機(jī)上以相同的性能運(yùn)行。

所以算法的過程就是模擬量子計(jì)算機(jī)。但那并不重要。人們關(guān)心的是能夠運(yùn)行模擬量子化學(xué)這樣的算法，或者運(yùn)行諸如將復(fù)合數(shù)字分解成兩個(gè)部落的算法來破解編碼。這兩者所需的量子比特都是數(shù)千以上。所以我們離這個(gè)問題還有很遠(yuǎn)的距離。

雖然我們認(rèn)為量子計(jì)算還沒有到實(shí)用的地步，但我們?nèi)苑浅Ｗ屑?xì)地關(guān)注相關(guān)技術(shù)的發(fā)展腳步，藉此避免發(fā)生我們無法掌握的變化。最重要的是，作為 Drive PX 系統(tǒng)的一部分，我們有一個(gè)完整的軟件平臺，包括用于感知的神經(jīng)網(wǎng)絡(luò)，相機(jī)和激光雷達(dá)以及雷達(dá)，然后是用于路徑規(guī)劃和控制的軟件車輛。

我們自己測試車隊(duì)的自動(dòng)駕駛汽車已經(jīng)完全運(yùn)行 NVIDIA 軟件。我們也向汽車廠商提供該硬件和該軟件。我們在車?yán)镆灿幸粋€(gè)以前叫做 Co-Pilot 的軟件，現(xiàn)在重新命名為 Drive IX，它的主要功能就是監(jiān)視著司機(jī)，它有眼睛跟蹤和頭部跟蹤，它要是看到司機(jī)心不在焉，或過度勞累就可要求汽車做出適度警示。它有手勢識別，所以你可以用手勢來控制汽車。我們同時(shí)也為汽車制造商提供完整的自動(dòng)駕駛解決方案。我認(rèn)為這是業(yè)界目前能獲得最具競爭力的解決方案。