構(gòu)建一套可靠的視覺檢測流程來實(shí)現(xiàn)缺陷檢測和質(zhì)量控制面臨諸多挑戰(zhàn)，例如針對特定領(lǐng)域定制通用視覺 AI 模型、在算力受限的邊緣設(shè)備上優(yōu)化模型規(guī)模，以及高效實(shí)時部署以實(shí)現(xiàn)最大的推理吞吐量。

NVIDIA Metropolis是一個面向視覺 AI 智能體與應(yīng)用的開發(fā)平臺，旨在幫助解決上述挑戰(zhàn)。NVIDIA Metropolis 提供了一個統(tǒng)一的框架，包含用于訓(xùn)練和優(yōu)化視覺 AI 基礎(chǔ)模型的NVIDIA TAO 6，以及端到端流分析工具套件NVIDIA DeepStream 8。

DeepStream 8.0 為開發(fā)者提供推理構(gòu)建器等強(qiáng)大工具，簡化工作流的創(chuàng)建，并提升復(fù)雜環(huán)境中的跟蹤準(zhǔn)確性。TAO 6 通過領(lǐng)域適應(yīng)性、自監(jiān)督微調(diào)和知識蒸餾，充分釋放基礎(chǔ)模型的潛力。借助 NVIDIA DeepStream 和 NVIDIA TAO，開發(fā)者正在推動視覺 AI 從快速原型設(shè)計到大規(guī)模部署的演進(jìn)。

本文將為您介紹如何利用 NVIDIA TAO 和 NVIDIA DeepStream 構(gòu)建端到端的實(shí)時視覺檢測工作流，具體步驟如下：

使用 TAO 進(jìn)行自監(jiān)督式微調(diào)，實(shí)現(xiàn)對領(lǐng)域特定未標(biāo)注數(shù)據(jù)的高效利用；

使用 TAO 知識蒸餾優(yōu)化基礎(chǔ)模型，以提高吞吐量和效率；

使用 DeepStream Inference Builder 進(jìn)行部署。

利用 NVIDIA TAO 規(guī)模化開發(fā)基于視覺基礎(chǔ)模型的自定義模型：

NVIDIA TAO 支持端到端工作流程，可用于訓(xùn)練、調(diào)整和優(yōu)化面向特定領(lǐng)域用例的大型視覺基礎(chǔ)模型。該框架可依托微調(diào)微服務(wù)對視覺基礎(chǔ)模型進(jìn)行自定義，助力實(shí)現(xiàn)高精度和高性能。

使用 NVIDIA TAO 創(chuàng)建高精度、定制化的企業(yè)可直接使用的 AI 模型，為視覺 AI 應(yīng)用提供支持

TAO 提供一系列強(qiáng)大的基礎(chǔ)骨干和任務(wù)頭，可針對工業(yè)視覺檢測等關(guān)鍵工作負(fù)載對模型進(jìn)行微調(diào)。在 TAO 6 中，兩個關(guān)鍵的基礎(chǔ)骨干是 C-RADIOv2（開箱即用，精度領(lǐng)先）和 NV-DINOv2。TAO 同樣支持第三方模型，前提是其視覺骨干和任務(wù)頭架構(gòu)與 TAO 兼容。

為提高模型準(zhǔn)確性，TAO 支持多種模型自定義技術(shù)，例如監(jiān)督式微調(diào)（SFT）和自監(jiān)督式學(xué)習(xí)（SSL）。其次，利用 NVIDIA TAO 6，用戶可以利用自監(jiān)督學(xué)習(xí)技術(shù)，充分發(fā)掘未標(biāo)記圖像的巨大潛力，從而在標(biāo)記數(shù)據(jù)稀缺或采集成本高昂的情況下加速模型定制流程。

在實(shí)際場景中，此工作流意味著模型能夠從大量未標(biāo)記圖像中學(xué)習(xí)缺陷的細(xì)微特征，再通過有針對性的監(jiān)督式微調(diào)來優(yōu)化決策能力，即使在自定義的真實(shí)數(shù)據(jù)集上也能實(shí)現(xiàn)卓越的性能。

優(yōu)化視覺基礎(chǔ)模型以提高吞吐量：

NVIDIA TAO 利用從大型基礎(chǔ)模型中獲得的知識，通過“知識蒸餾”（Knowledge Distillation）技術(shù)，將其優(yōu)化為更小的模型尺寸。知識蒸餾通常能夠在不犧牲準(zhǔn)確性的前提下，將大型、高精度的教師模型壓縮為更小、更高效的學(xué)生模型。該過程的核心在于引導(dǎo)學(xué)生模型不僅模仿教師模型的最終預(yù)測，同時要學(xué)習(xí)其內(nèi)部特征表示和決策邊界，從而在資源受限的硬件上實(shí)現(xiàn)實(shí)際部署，并支持可擴(kuò)展的模型優(yōu)化。

NVIDIA TAO 進(jìn)一步拓展了知識蒸餾的能力，能夠穩(wěn)定支持多種蒸餾形式，包括骨干、logit 以及空間或特征蒸餾。TAO 的一項(xiàng)顯著特性是其專為物體檢測設(shè)計的單級蒸餾方法。借助這一簡化流程，通常更小且更高效的學(xué)生模型能夠在統(tǒng)一的訓(xùn)練階段，直接從教師模型學(xué)習(xí)骨干特征表示以及任務(wù)特定的預(yù)測結(jié)果。這種方法在不犧牲精度的前提下，顯著降低了推理延遲和模型尺寸。

使用 DeepStream 8 Inference Builder 打包和部署模型：

全新的 NVIDIA DeepStream 8 Inference Builder 是一款低代碼工具，可將模型設(shè)想快速轉(zhuǎn)化為獨(dú)立應(yīng)用或可部署的微服務(wù)。

Inference Builder 的設(shè)計目標(biāo)是根據(jù)用戶提供的模型和配置文件，自動生成推理服務(wù)代碼、API 層以及部署所需的構(gòu)件。通過簡單的配置，即可處理與服務(wù)器、請求處理和數(shù)據(jù)流相關(guān)的復(fù)雜任務(wù)，而無需手動編寫大量重復(fù)性代碼。