英偉達張量RT 8 概述

NVIDIA 張量RT 是一個高性能推理平臺，對于利用 NVIDIA 張量核心 GPU 的強大功能至關重要。TensorRT 8 是一個具有增強功能的軟件開發工具包，旨在提高性能和準確性，以應對邊緣和嵌入式設備中發生的越來越多的 AI 推理。它允許對張量流和PyTorch神經網絡進行廣泛的計算推斷。

與僅 CPU 平臺相比，TensorRT 可提供高達 40 倍的吞吐量，同時最大限度地減少延遲。它允許您從任何框架開始，并在生產中快速優化、驗證和部署經過訓練的神經網絡。

新版本在 NVIDIA 安培 GPU 上集成了稀疏性，可修剪對網絡整體計算無貢獻的弱連接。此外，張量RT 8 支持變壓器優化和 BERT 大。變壓器優化可提高性能，而量化感知訓練可提高準確性。

英偉達的張量RT 8 有什么新功能？

推理的目的是在訓練階段盡可能多地保持準確性。訓練的模型可以在硬件設備上運行，以獲得客戶的最低響應時間和最大的吞吐量。但是，盡可能精確的必要性有時可能與邊緣可用的內存量和吞吐量發生沖突。訓練有素、高度準確的模型可能運行速度太慢。

因此，TensorRT版本8結合了深度學習推理或訓練的神經網絡模型應用的最新進展，以理解數據如何影響響應。它使用兩個主要功能將語言查詢推理時間減少一半：

英偉達安培架構的稀疏性

深度神經網絡擅長各種任務，如計算機視覺、語音識別和自然語言處理。隨著處理這些神經網絡所需的計算能力的增加，高效的建模和計算變得越來越重要。

稀疏是采用 NVIDIA 安培架構的 GPU 的一種全新性能方法，通過減少計算流程來提高開發人員的效率。深度學習模型的其他方面不如其他方面重要，有些甚至可能為零。因此，神經網絡不需要對特定權重或參數進行計算。因此，NVIDIA 可以通過使用稀疏性將模型的權重減少近一半來增強性能、吞吐量和延遲。

通過變壓器優化減少推理計算

在張量RT 8中，性能增強是通過變壓器優化實現的。量化開發人員可以利用訓練的模型通過 8 位計算 （INT8） 執行推理。這大大減少了張量核心中的推理計算和存儲。INT8 越來越多地用于優化機器學習框架，如張量流和 NVIDIA 的張量壓縮包，以減少內存和計算需求。因此，NVIDIA可以在張量RT 8上提供非常高的性能，同時保持準確性。

例如，量化感知訓練 （QAT） 有可能將準確性提高一倍。因此，與舊版本張量RT 7相比，張量RT 8可以將許多模型的性能提高一倍。

張量RT部署在眾多行業中

TensorRT更好的性能和準確性使其成為醫療保健，汽車，互聯網/電信服務，金融服務和零售等行業的熱門選擇。例如，張量RT用于為GE醫療保健的心血管超聲系統提供動力。數字診斷解決方案提供商使用該技術在其 Vivid E95 掃描器上加速了自動心臟視圖檢測。心臟病專家可以通過使用改進的視圖檢測算法，在早期階段做出更準確的診斷和檢測疾病。此外，TensorRT還被Verizon，福特，美國郵政服務，美國運通和其他知名公司使用。

隨著張量RT 8的發布，NVIDIA還推出了使用張量RT的Google BERT大推理的突破，來自變形金剛的雙向編碼器表示（BERT）是一種基于變壓器的機器學習技術，用于預訓練自然語言處理。BERT-Large 模型只需 1.2 毫秒進行分析，從而可以實時響應自然語言查詢。這意味著公司可以將其模型的尺寸增加一倍或三倍，以提高準確性。

像 BERT-Large 這樣的語言模型被許多推理服務在幕后使用。另一方面，基于語言的應用程序通常無法識別細微差別或情感，從而導致整體糟糕的體驗。現在，公司可以使用張量RT 8在幾毫秒內部署整個工作流程。這些突破可以為新一代對話式AI應用程序鋪平道路，為用戶提供更智能、更低的延遲體驗。

審核編輯：郭婷