我們十分高興地宣布，Torch-TensorRT 1.1.0 版本正式發布！

軟件版本

PyTorch 1.11

CUDA 11.3（在 x86_64 上，默認設置下，兼容的 PyTorch Build 支持較新版本的 CUDA 11）

cuDNN 8.2.4.15

TensorRT 8.2.4.2

由于最近 JetPack 的升級和其發布流程的變化，Torch-TRTv1.1.0 版本不支持Jetson（Jetpack 5.0DP 或其他）。將在中期版本（Torch-TensorRT1.1.x）同時支持 Jetpack 5.0DP 和 TensorRT 8.4。

重要變更

HF BERT性能

算子和性能的進一步優化使 HF BERT 的性能比 V1.1 版本提升了 40%

更多的算子

18 個新的 aten 算子轉換器提高了 TensorRT 的模型覆蓋范圍和性能

查看全部 250+ 個算子

Triton 后端支持

21.12 版本以上的 Triton 現已支持 Torch-TensorRT

將在不久后提供工作流程教程

調試工具

上下文管理器現在允許使用更簡潔清晰的調試工作流程

不支持的算子已降級為警告，建議使用上下文管理器進行調查

API 變更

max_batch_size 和 strict_types 由于在 TRT 中不被遵守已被刪除

所有與 Torch-TensorRT 相關的 Bug 都應被歸入新的 “MachineLearning – TorchTRT” nvbugs 模塊。

原文標題：Torch-TensorRT 1.1.0 版本正式發布

文章出處：【微信公眾號：NVIDIA英偉達企業解決方案】歡迎添加關注！文章轉載請注明出處。