NVIDIA 宣布使用 NVIDIA TensorRT-LLM 加速微軟最新的 Phi-3 Mini 開源語言模型。TensorRT-LLM 是一個開源庫，用于優化從 PC 到云端的 NVIDIA GPU 上運行的大語言模型推理。

Phi-3 Mini 與 10 倍之于其大小的模型能力不相上下。不同于僅用于研究的 Phi-2，Phi-3 Mini 不僅可以用于研究，同時還可以用于多種商業用途。搭載 NVIDIA RTX GPU 的工作站或搭載 GeForce RTX GPU 的 PC 可以使用 Windows DirectML 或 TensorRT-LLM 在本地運行該模型。

該模型有 38 億個參數，在 512 個 NVIDIA Tensor Core GPU 上使用 3.3 萬億個 token 訓練而成，僅耗時七天時間。

Phi-3 Mini 有兩個版本，一個版本支持 4K token，另一個版本支持 128K token，是同類模型中第一個支持超長上下文的模型。因此，開發者在向該模型提問時，可以使用 128,000 個 token（模型能夠處理的最小語言單位），使模型能夠做出更加符合現實的回答。

開發者可以在 ai.nvidia.com上試用帶有 128K 上下文窗口的 Phi-3 Mini。該模型被打包成 NVIDIA NIM，這是一項帶有標準應用編程接口的微服務，可以部署在任何位置。

在邊緣高效運行

自主機器人和嵌入式設備開發者可以通過社區教程（如 Jetson AI Lab）學習創建和部署生成式 AI，并在 NVIDIA Jetson 上部署 Phi-3。

Phi-3 Mini 模型只有 38 億個參數，非常小巧緊湊，可以在邊緣設備上高效運行。參數就像內存中的旋鈕，可在模型訓練過程中進行精確的調整，使模型能夠對輸入的提示做出高度準確的響應。

Phi-3 可以在成本和資源受限的用例中提供幫助，尤其是較簡單的任務。該模型在關鍵語言基準測試中的表現優于一些較大的模型，同時在滿足延遲要求的情況下給出結果。

TensorRT-LLM 將支持 Phi-3 Mini 的長上下文窗口，并使用 LongRoPE、FP8/飛行批處理等眾多優化措施和內核來提高推理吞吐量，減少延遲。TensorRT-LLM 的應用很快將在 GitHub 上的示例文件夾中提供。

開發者可以轉換為 TensorRT-LLM 檢查點格式，該格式針對推理進行了優化，可以輕松地與 NVIDIA Triton 推理服務器一起部署。

開發開放式系統

NVIDIA 是開源生態系統的積極貢獻者，已經發布了 500 多個帶有開源許可證的項目。

NVIDIA 為 JAX、Kubernetes、OpenUSD、PyTorch 和 Linux 內核等眾多外部項目做出了貢獻，還為各種開源基金會和標準機構提供支持。

此次發布建立在 NVIDIA 與微軟深厚的合作基礎上，雙方的合作為加速 DirectML、Azure 云、生成式 AI 研究以及醫療和生命科學等領域的創新鋪平了道路。

審核編輯：劉清