這家云計算巨頭的計算機視覺和數據科學服務使用 NVIDIA Triton 推理服務器來加速 AI 預測。

作為一名狂熱的自行車愛好者，Thomas Park 深知擁有多個變速檔位對于平穩、快速騎行的重要性。

因此，當這位軟件架構師為 Oracle Cloud Infrastructure（OCI）的視覺 AI 服務設計 AI 推理平臺時，他選擇了 NVIDIA Triton 推理服務器，因為它可以通過變換“檔位”，來快速高效地處理幾乎任何 AI 模型、框架、硬件和運行模式。

Park 表示：“NVIDIA AI推理平臺為我們的全球云服務客戶帶來了巨大的靈活性，讓他們可以構建和運行 AI 應用。”Park 是一位在蘇黎世工作的計算機工程師，同時也是一名富有競爭力的自行車手，他曾先后就職于四家全球超大型云服務提供商。

具體而言，Triton 將 OCI 的總擁有成本降低了 10%、將遷移到 Triton 的 OCI 視覺和文檔理解服務模型的預測吞吐量提高了 76%，并將推理延遲降低了 51%。Park 和一位同事在今年早些時候發布的一篇 Oracle 博客中指出，全球有超過 45 個區域數據中心在運行這些服務。

計算機視覺加速深入洞察

依靠 OCI 視覺 AI，客戶可以進行各種物體檢測和圖像分類工作。例如，美國的一家運輸公司利用它來自動檢測經過的車軸數，以計算和結算過橋費，從而節省了忙碌的卡車司機在收費站的等待時間。

OCI AI 還通過 Oracle NetSuite 提供，Oracle NetSuite 是全球 37,000 多個企業組織使用的一套商業應用程序，它可以用于自動識別發票等工作。

在 Park 的努力下，Triton 如今也被其他 OCI 服務所采用。

能夠識別 Triton 的數據服務

負責處理 Oracle 內外部用戶機器學習事務的 OCI 數據科學服務產品管理總監 Tzvi Keisar 表示：“我們的 AI 平臺能夠識別 Triton，以造福于我們的客戶。”

Keisar 提到：“想要使用 Triton 的客戶不必擔心配置問題，因為平臺會自動完成配置，為他們啟動一個 Triton 驅動的推理終端節點。”

Triton 包含在 NVIDIA AI Enterprise 中，該平臺可提供企業所需的全方位的安全和支持，并且可以在 OCI Marketplace 上獲得

一個龐大的 SaaS 平臺

OCI 的數據科學服務是一個適用于 Oracle NetSuite 和 Oracle Fusion 應用程序的機器學習平臺。

“這些商業應用套件規模龐大，有數以萬計的客戶也在我們的服務上構建他們的框架。”Keisar 說。

這些客戶主要是來自于制造業、零售業、交通運輸業等行業的企業用戶。他們正在構建和使用幾乎所有形態與規模的 AI 模型。

推理是該團隊推出的首批服務之一，而 Triton 在推出后不久就進入了該團隊的視線。

最佳的推理框架

“我們看到 Triton 作為一流的服務框架越來越受歡迎，于是開始試用。”Keisar 說，“我們發現它的性能非常出色，彌補了現有產品的不足，尤其是在多模型推理方面。它是目前功能最全面、最先進的推理框架。”

Triton 于 3 月在 OCI 上發布，已經吸引了 Oracle 許多內部團隊的關注。他們希望將其用于需要同時運行多個 AI 模型以作出預測的推理工作。

他表示：“當用于部署在單個端點上的多個模型時，Triton 的表現和性能都非常好。”

加快未來發展

展望未來，復雜的大語言模型（LLM）激發了眾多用戶的想象力。為了能夠在未來為這些模型上的推理提供更強大的助力，Keisar 的團隊正在對 NVIDIA TensorRT-LLM 軟件進行評估。

身為一名活躍的博主，Keisar 在其最新文章中詳細介紹了在 NVIDIA A10 Tensor Core GPU 上運行具有高達 700 億參數的 Llama 2 LLM 的量化技術。

他表示：“即使減低到四位參數，模型輸出的質量仍然相當不錯。在 NVIDIA GPU 上的部署使我們能夠靈活地在延遲、吞吐量和成本之間找到良好的平衡點。”

審核編輯：劉清