Black Forest Labs，作為全球頂尖 AI 研究實(shí)驗(yàn)室之一，為圖像生成領(lǐng)域帶來顛覆性變革。

該實(shí)驗(yàn)室的 FLUX.1 圖像模型憑借高質(zhì)量視覺輸出和優(yōu)秀的提示詞遵循度，引發(fā)全球業(yè)界關(guān)注?，F(xiàn)在，通過推出其最新 FLUX.1 Kontext 模型，該實(shí)驗(yàn)室從根本上改變了用戶引導(dǎo)和優(yōu)化圖像生成過程的方式。

為了獲得預(yù)期效果，AI 藝術(shù)家們通常需要整合多個(gè)模型架構(gòu)并配合 ControlNets 模塊，而這些 AI 模型有助于引導(dǎo)圖像生成器的輸出。這通常需要結(jié)合多個(gè) ControlNets 或采用更高級的技術(shù)，例如 NVIDIA AI Blueprint 中推出的 3D 引導(dǎo)圖像生成，這種方法通過 3D 場景粗稿確定圖像構(gòu)成。

全新 FLUX.1 Kontext 模型通過單一模型實(shí)現(xiàn)自然語言驅(qū)動的圖像生成與編輯，大幅簡化了工作流程。

NVIDIA 已與 Black Forest Labs 達(dá)成合作，通過 NVIDIA TensorRT 及量化技術(shù)對 FLUX. 1 Kontext [dev] 進(jìn)行深度優(yōu)化，使其在 RTX GPU 上實(shí)現(xiàn)更快的推理速度與更低的 VRAM 顯存需求。

對于創(chuàng)作者和開發(fā)者而言，通過 TensorRT 優(yōu)化，RTX 設(shè)備可帶來更快的編輯速度、更流暢的迭代和更強(qiáng)大的控制。

FLUX.1 Kontext [dev]

語境感知圖像生成

Black Forest Labs 于五月推出 FLUX.1 Kontext 系列圖像模型，該模型同時(shí)接受文本和圖像提示。

該系列模型支持用戶基于參考圖像進(jìn)行創(chuàng)作，并使用簡單的語言進(jìn)行編輯，無需通過微調(diào)或使用多 ControlNet 的復(fù)雜工作流。

FLUX.1 Kontext 是一種專為圖像編輯構(gòu)建的開放式生成模型，其引導(dǎo)式、逐步生成架構(gòu)支持從局部細(xì)節(jié)到全局場景轉(zhuǎn)換的精準(zhǔn)控制。由于該模型接受文本和圖像雙輸入，讓用戶可以輕松引用視覺概念，并以自然、直觀的方式引導(dǎo)其創(chuàng)作。這可以實(shí)現(xiàn)連貫且高質(zhì)量的圖像編輯，同時(shí)忠實(shí)于原始概念。

FLUX.1 Kontext 的關(guān)鍵功能包括：

角色一致性：確保人物特征在多鏡頭多視角下保持統(tǒng)一。

局部編輯：在不改變圖像其他部分的情況下，修改特定元素。

風(fēng)格遷移：將參考圖像的風(fēng)格和氛圍應(yīng)用于新場景。

實(shí)時(shí)性能：低延遲生成支持快速迭代和反饋。

Black Forest Labs 正式在 Hugging Face 平臺上發(fā)布 FLUX.1 Kontext 模型權(quán)重，并同步推出經(jīng)過 TensorRT 加速優(yōu)化的專用版本。

傳統(tǒng)上，高級圖像編輯需要復(fù)雜的指令，并且難以創(chuàng)建遮罩層、深度圖或邊緣圖。FLUX.1 Kontext [dev] 引入了一種更加直觀且靈活的界面，將逐步編輯與用于擴(kuò)散模型推理的尖端優(yōu)化相結(jié)合。

[dev] 模型強(qiáng)調(diào)靈活性與控制力。該系統(tǒng)支持角色一致性、風(fēng)格保留和局部圖像調(diào)整等功能，并集成了 ControlNet 功能，實(shí)現(xiàn)結(jié)構(gòu)化視覺提示。

FLUX.1 Kontext [dev] 現(xiàn)已登陸 ComfyUI 及 Black Forest Labs Playground 平臺，其搭載 NVIDIA NIM 微服務(wù)版本預(yù)計(jì)將于八月正式發(fā)布。

專為 RTX 優(yōu)化

并采用 TensorRT 加速技術(shù)

FLUX.1 Kontext [dev] 通過簡化復(fù)雜的工作流程來加速創(chuàng)意。為了進(jìn)一步簡化工作并擴(kuò)大可訪性，NVIDIA 與 Black Forest Labs 合作：通過模型量化，降低 VRAM 顯存需求，使更多用戶能在本地運(yùn)行該模型，并采用 TensorRT 對其進(jìn)行優(yōu)化，使其性能翻倍。

量化處理后，F(xiàn)P8 的模型大小從 24GB 減小至 12GB（Ada），F(xiàn)P4 的模型大小從 24GB 減小至 7GB（Blackwell）。FP8 模型針對 GeForce RTX 40 系列 GPU 進(jìn)行優(yōu)化，這些 GPU 的 Tensor Core 配備了 FP8 加速器。FP4 模型專為 GeForce RTX 50 系列 GPU 優(yōu)化，該系列顯卡采用新型 SVDQuant 量化技術(shù)，在將模型大小縮減的同時(shí)，保持卓越的圖像生成質(zhì)量。

TensorRT 是一個(gè)利用 NVIDIA RTX GPU 中 Tensor Core 實(shí)現(xiàn)最大化性能的框架，與使用 PyTorch 運(yùn)行原始 BF16 模型相比，能夠提供超過兩倍的加速效果。

與 BF16 GPU 相比，速度提升（左，值越高效果越好）和運(yùn)行 FLUX.1 Kontext [dev] 在不同精度下所需的內(nèi)存占用（右，值越低效果越好）。

開始使用 FLUX.1 Kontext

FLUX.1 Kontext [dev] 可在 Hugging Face（Torch 和 TensorRT）平臺下載。

對這些模型測試感興趣的 AI 愛好者可以下載 Torch 版本，并在 ComfyUI 平臺上部署使用。Black Forest Labs 還提供一個(gè)在線測試平臺用于測試該模型。

針對高級用戶和開發(fā)者，NVIDIA 正在開發(fā)示例代碼，方便將 TensorRT 流水線輕松集成到工作流程中。

結(jié)尾彩蛋

Google 宣布推出 Gemma 3n，這是一款新型多模態(tài)小語言模型，非常適合在 NVIDIA GeForce RTX GPUs 以及用于邊緣 AI 和機(jī)器人技術(shù)的 NVIDIA Jetson 平臺上運(yùn)行。

AI 愛好者可以在 Ollama 和 llama.cpp 框架中，借助 RTX 加速，使用 Gemma 3n 模型，并通過他們喜歡的應(yīng)用程序，比如 AnythingLLM 和 LM Studio，輕松體驗(yàn)和開發(fā) AI 功能。

此外，開發(fā)者可通過 Ollama 框架輕松部署 Gemma 3n 模型，并充分利用 RTX 加速優(yōu)勢。