NVIDIA Clara Guardian是一個應用框架，同時也是一種合作伙伴生態系統，它可以利用多模態 AI 簡化智能傳感器的開發和部署，可應用于醫療健康設施的各個位置。借助各種各樣的預訓練模型、參考應用和設備群管理解決方案，開發者能夠以更快的速度構建解決方案，從而將 AI 引入醫療健康設施，并提高患者護理水平。

Clara Guardian 的關鍵組件包括醫療健康預訓練模型，該模型適用于計算機視覺和語音、訓練工具、部署 SDK 和 NVIDIA Fleet Command。NVIDIA Fleet Command是一個混合云平臺，可支持在數百萬臺服務器或醫院的邊緣設備中安全管理并擴展 AI 部署。

這使得生態系統合作伙伴可以輕松將 AI 功能添加到常用傳感器中，從而監控人群的安全社交距離、測量體溫、檢測是否佩戴口罩等防護裝備，或與高風險患者進行遠程交互，從而在保護醫療健康機構人員安全的同時，還能讓他們隨時了解狀況。

應用和服務可以在各種硬件上運行，因此，開發者能夠在從邊緣到云端的任意位置安全地進行部署。

NVIDIA Clara Guardian 功能特性

提供解決方案

利用高性能的預訓練模型在醫療健康領域構建精確 AI。

云原生，邊緣優先

快速擴展軟件，并在邊緣輕松部署應用。

安全管理

在數十臺，甚至多達數百萬臺的服務器或邊緣設備上安全地管理和擴展 AI 部署。

醫療健康領域專用的預訓練模型

適用于語音的 Clara Guardian

適用于語音的 Clara Guardian 是 Riva 對話式 AI 功能針對醫療健康領域的特定版本。

對于自動語音識別（ASR）功能，模型執行離線識別和串流識別兩種模式，可自動添加標點符號、輸出字詞時間戳并返回前 n 個腳本。

我們推薦使用 CitriNet 這個基于端到端卷積 Connectionist Temporal Classification（CTC）的全新 ASR 模型。CitriNet 模型會接收音頻片段，并將其轉寫為字母、字節對或詞片段序列。CitriNet 已在 ASR 數據集上進行訓練，在沒有任何外部 LM 的情況下，它可以在 LibriSpeech test-other 上達到 6.22% 的誤字率（WER），并且在各種硬件 / GPU 上高效運行，如此處所示。

Conformer-CTC 模型是用于自動語音識別的 Conformer 模型的非自回歸變體，該模型使用 CTC 損失 / 解碼代替 Transducer。

對于自然語言理解（NLU）功能，深度學習模型通過編碼向量理解上下文，并為特定語言任務（如預測下一個單詞和文本摘要）提供適當的輸出。

對于文本轉語音（TTS），有一款基于 FastPitchHifiGanE2E 的語音合成模型。FastPitchHifiGanE2E 是一個端到端的非自回歸模型，可將文本轉化成音頻。它將 FastPitch 和 HiFiGan 組合成一個模型，并以端到端方式聯合訓練。

語音模型（ASR、NLP 和 TTS）可用于截取、處理和響應患者在醫療健康設置中可能提出的常見請求。

適用于計算機視覺的 Clara Guardian

適用于計算機視覺的 Clara Guardian 是DeepStream和Riva計算機視覺功能在醫療健康領域的特定版本。

Clara Guardian 包含可用于手勢識別、心率監測、口罩檢測和身體姿態估計的預訓練模型。

身體姿態估計可用于檢測身體中重要關節和面部特征的位置（眼睛、耳朵、肘部、肩膀、手腕、臀部、膝蓋、腳踝、鼻子、頸部等），從而建立患者監控 AI 模型。

手勢識別模型可以識別一系列常見的手勢（揮手、表示同意、豎大拇指、表示制止等）。

僅通過觀察人臉的視頻流，心率估計模型就可以獲得一個人的心率數據。

預編譯的NVIDIA TensorRT引擎已在NVIDIA GPUs上進行優化。

借助 Fleet Command 進行安全管理

NVIDIA Fleet Command是一個混合云平臺，可以跨數十臺到數百萬臺服務器或邊緣設備，安全地遠程部署、管理和擴展 AI。管理員無需花費數周時間規劃和執行部署，只需幾分鐘即可將 AI 擴展到醫院。管理員能夠在一個控制面板中實現整個 IT 部門的相關操作，從而管理 AI 應用的生命周期、通過無線以及遠程監控和訪問系統更新系統軟件。

端到端 AI 解決方案

Clara Guardian 包含經 GPU 優化的組件，可加速應用開發的各個階段。

訓練

一系列醫療健康領域專用的預訓練計算機視覺和對話式 AI 模型，適用于各種用例。

NVIDIA NeMo，為 ASR、NLP 和 TTS 構建對話式 AI 模型。

TAO 工具套件，可創建零編碼且高度準確的計算機視覺模型。

部署

NVIDIA Riva用于部署融合了視覺、語音和其他傳感器數據的對話式 AI 模型。

NVIDIA DeepStream SDK借助傳輸層安全性（TLS）協議，提供多平臺可擴展的視頻分析框架，可在邊緣進行部署，可連接到任意云。

審核編輯：湯梓紅