案例簡介

在本案例中，Dify 以模型中立以及開源生態的優勢，為廣大 AI 創新者提供豐富的模型選擇。其集成的 NVIDIAAPI Catalog、NVIDIA NIM和Triton 推理服務器產品，為 Dify.AI 提供了靈活多樣的模型集成選擇，專業、高效的模型接入方式讓開發者用戶能夠構建豐富的 AI 應用場景。

AI 應用面臨落地挑戰

隨著 AI 應用場景的不斷豐富，Dify 在 AI 應用的落地方面面臨了幾個關鍵挑戰，這些挑戰成為了采用 NVIDIA 產品和技術的主要驅動力：

復雜應用場景需要多個模型結合使用：隨著越來越豐富的 AI 應用情景探索，越來越多的企業都期望能靈活使用當前最先進的閉源或開源模型，來定制落地方案，以獲得模型在不同情境下的能力表現、成本、性能等方面的最佳組合結果。

大模型的性能和穩定性風險：?模型的訓練和推理對算力、算法、數據都有很高要求，如果選型不當或優化不足，可能影響應?的性能和穩定性。

數據安全和隱私保護風險：企業在落地 AI 應用時，出于對敏感場景應用和企業數據安全的考慮，會更傾向本地部署推理框架來運行他們的本地模型。

NVIDIA 助力提供多樣、靈活的模型選擇

Dify 平臺與數百種專有/開源模型以及數十種推理提供商、自托管解決方案無縫集成，包括 LLM 推理框架、Rerank 模型、Embedding 模型等類型，允許用戶根據其具體場景需要，隨時切換/使用不同的模型能力。其中，Dify 集成了 API Catalog、NVIDIA NIM 和 Triton 推理服務器開源軟件產品作為可選模型平臺之一，具體作用如下所述：

提供豐富的預訓練模型，滿足多樣化需求

API Catalog 提供了大量針對NVIDIA GPU優化的預訓練模型，涵蓋了 LLM、Embedding、Rerank 和 Vision 多個種類。它主要用于評估和測試，提供一個統一的接口，可以測試各種模型，節省開發成本。API Catalog 會持續更新最新的模型，幫助 Dify 用戶加速前期的測試和評估，并為之后的量產部署做好鋪墊，加速 AI 應用的開發和落地。

簡化部署流程，加速生成式 AI 模型上線

NVIDIA NIM 將 AI 模型打包為容器化微服務，開發者只需幾行代碼即可完成部署，部署時間可從數周縮短到數分鐘。這種簡化的部署流程可以顯著加速生成式 AI 模型的上線，使企業能夠快速將模型集成到 Dify 的 AI 工作流中，實現 AI 應用落地。

優化推理性能，提供高效穩定的 AI 服務

Triton 推理服務器提供了一個優化和標準化的平臺，用于部署和執行來自多種深度學習和機器學習框架的 AI 模型。它適用于通用的 AI 推理工作負載，為開發者在 Dify 平臺上編排 AI 應用提供高效穩定的模型服務。

靈活調用模型，適應不同場景需求

通過 Triton 推理服務器和 NVIDIA NIM 完成模型部署后，用戶可以在 Dify 平臺中輕松調用所需的模型。只需在模型設置中填寫 Server URL、Model Name 等憑據，即可根據具體的場景需求，隨時切換或使用不同的模型能力。這種靈活的模型調用方式可以幫助企業快速適應不斷變化的業務需求，提高 AI 應用的適應性和可擴展性。

加入 NVIDIA Inception，

融入全球開發者社區生態

Dify 不僅與 NVIDIA 在模型層面實現了深度集成，其還于 2024 年 4 月入選了NVIDIA Inception 初創加速計劃。Dify 也受邀參加了 NVIDIA 初創加速計劃最新開啟的系列技術加速營，獲得了與眾多 AI 創新者、行業客戶、生態上下游企業交流合作和極大的市場曝光機會。

加入 NVIDIA 初創加速計劃對 Dify 來說，標志著一個新的里程碑，Dify 將借助 NVIDIA 的影響力鏈接全球開發者，在其領先技術的助力下，不斷突破，打造更繁榮的生態和產品。

Dify 創始人兼 CEO 張路宇表示：“Dify 成立的第一天，就定位是一個面向全球開發者用戶的產品，我們希望接入全球領先的大模型，共創 AI 解決方案，為不同行業落地 AI 的企業、AI 創新者們提供開箱即用的 LLM 應用開發平臺，這也是我們首選 NVIDIA 的原因。在全球的客戶生態、開發者生態經營上，NVIDIA 毋庸置疑是我們最好的選擇。”

繁榮的開源社區生態，

加速 AI 創新應用落地

Dify 團隊成立于 2023 年 3 月，同年 5 月發布 Dify.AI 第一個版本并開源。基于 LLMOps 及后端即服務的理念，為企業提供從 Agent 構建到 AI workflow 編排、RAG 檢索、模型管理等能力，致力于打造?個開放的 LLM 應?開發平臺，降低 LLM 應?程序的開發和部署復雜性，幫助應?開發者更快地搭建和運營?產級的?成式 AI 應?。

Dify 在開源社區受到全球開發者的關注和喜愛，在短短一年的時間內，stars 數已超過 36,000+，達到數十萬次下載量，多次登榜 GitHub 全球趨勢榜單。GitHub stars 已超越知名 AI Infra 產品如 LlamaIndex、flowise 等，僅次于 LangChain。面向需要探索 AI 應用創新、AI 應用落地業務的開發者或企業客戶，Dify 提供成熟的應用開發工具平臺，加速 AI 落地業務的過程。

截至 2024 年 4 月，Dify.AI 已經服務了十余家 500 強企業和數十家上市公司。全球領先企業選擇 Dify 作為 LLM App Stack，標桿客戶覆蓋汽車、先進制造、消費、半導體、醫藥等行業，如理想汽車、研華股份、百勝中國、Panasonic、Advantech、安克創新、得到等。Dify.AI 同時也吸引了全球范圍內關注 LLM 應用技術的創業者和服務商，他們可以基于 NVIDIA 的資源和生態，利用 Dify 作為開發工具，創造出更多創新性 AI 產品和服務，帶來更多生態合作的空間。

NVIDIA 初創加速計劃

Dify.AI是 NVIDIA 初創加速計劃 (NVIDIA Inception) 會員企業。 NVIDIA 初創加速計劃為免費會員制，旨在培養顛覆行業格局的優秀創業公司。該計劃聯合國內外知名的風投機構、創業孵化器、創業加速器、行業合作伙伴以及科技創業媒體等，打造創業加速生態系統。能夠提供產品折扣、技術支持、市場宣傳、融資對接、業務推薦等一系列服務，加速創業公司的發展。