當今美國最常見的癌癥是皮膚癌。主要有三種變體：黑色素瘤、基底細胞癌（ BCC ）和鱗狀細胞癌（ SCC ）。雖然黑色素瘤只占所有皮膚癌的 1% ，但它是最致命的，在沒有早期發現和治療的情況下迅速轉移。這使得早期檢測至關重要，因為許多研究表明，在早期檢測時，存活率明顯提高。

目前的診斷程序是通過皮膚科醫生的目視檢查，然后進行活檢，以確認任何可疑的病理。這種手工檢查依賴于人的主觀能動性，因此出錯率很高。當一個初級保健醫生尋找皮膚癌時，他們的敏感度，或者正確識別病人的能力，只有 0 .45 ，而皮膚科醫生的敏感度為 0.97 。

近年來，利用深度學習進行醫學診斷已成為一個迅速發展的領域。在這篇文章中，我們將討論如何使用 最近發布的 NVIDIA Clara AGX 開發包 開發一個端到端的示例，說明深入學習如何能夠導致一個沒有人類偏見的自動皮膚病檢查系統。

數據集和模型

此參考應用程序是兩個深度學習模型的配對：

一種物體探測模型（ YOLOv4 ），通過攝像機尋找身體上的痣。這個模型是用一個原始的數據集來訓練的，這個數據集是由注釋體痣圖像創建的。

一種分類模型（ EfficientNet ），從目標檢測模型接收痣，然后確定它是良性的、未知的還是黑色素瘤。使用 SIIM-ISIC 黑色素瘤 Kaggle 挑戰數據集 對分類模型進行訓練。

圖 1 顯示了使用單個視頻幀的算法的工作流程。該應用程序可以使用高清網絡攝像頭或 IP 攝像頭作為模型的輸入，甚至可以在以前捕獲的視頻上運行。

圖 1 皮膚痣檢測和分類工作流程 。

Clara AGX 開發工具包

這個參考應用程序是使用 NVIDIA Clara AGX 開發工具包 構建的，這是一個高端性能工作站，它考慮到了醫療應用程序。該系統包括一個 RTX 6000 GPU ，提供 200 多個 INT8 AI 峰值性能和 24 GB 的 VRAM ，為運行多個模型留下了大量開銷。

圖 2 Clara AGX 開發工具包。

此外， AGX 平臺通過 100G 以太網和 NVIDIA ConnectX-6 網絡接口卡（ NIC ）為高帶寬傳感器提供支持 NVIDIA 合作伙伴目前正在使用 NVIDIA Clara AGX 開發工具包開發超聲、基因組學和內窺鏡檢查方面的應用。

Clara AGX 開發者工具包目前只提供給 NVIDIA Clara 開發者合作伙伴計劃 的成員。你登記后，我們會聯系的。

概括

我們已經提供了一個皮膚科應用程序的研究原型，但是要將其轉換為一個真正的應用程序需要什么呢？

商用數據。 SIIM-ISIC 數據集嚴格用于非商業用途。

更大的目標檢測數據集。 我們使用的數據集只包含幾百個帶注釋的圖像，這確實導致了比預期數量更多的誤報。

以“光速”（ SOL ）運行模型。 SOL 通常需要使用混合精度訓練模型，然后將模型轉換為與 NVIDIA TensorRT 框架 一起使用 TensorRT 設計用于優化 NVIDIA gpu 上的模型推理，并與 PyTorch 和 TensorFlow 等通用框架協同工作。這些步驟將有助于確保應用程序管道實時運行。

FDA 批準。 任何已開發的醫療應用程序必須經過 FDA 批準。今天，有超過 70 個 FDA 批準的人工智能申請 和 FDA 一直積極征求反饋意見 來自這個領域的開發者。這通常是一個漫長（ 18 個月）和艱巨的過程，但卻是必要的。

關于作者

王柔佳博士。杜克大學的候選人 Nimmi Ramanujam 博士建議。她的研究興趣在于醫學成像和全球健康領域。目前，她正在開發一個低成本的光學分子成像平臺，將計算機輔助算法作為傳統病理學的替代方案，在低資源環境下提供更易獲取的護理點乳腺癌診斷。她希望這種低成本的診斷工具和 ML 算法能夠擴大對乳腺癌病理學和高質量診斷能力的了解，其最佳目標是提高乳腺癌患者的生存率，而不管他們的社會經濟背景如何。

Sean Huver 博士是 NVIDIA Clara AGX 團隊的高級機器學習工程師，致力于在醫療初創企業、研究人員和制造商中采用人工智能。此前，肖恩是計算機視覺領域的初創公司創始人，也是國防部高級研究計劃局和其他國防部項目的研究科學家。肖恩擁有路易斯安那州立大學的量子光學物理學博士學位和加州大學洛杉磯分校的物理學學士學位。

Roujia Wang， 杜克大學的候選人 Nimmi Ramanujam 博士建議。她的研究興趣在于醫學成像和全球健康領域。目前，她正在開發一個低成本的光學分子成像平臺，將計算機輔助算法作為傳統病理學的替代方案，在低資源環境下提供更易獲取的護理點乳腺癌診斷。她希望這種低成本的診斷工具和 ML 算法能夠擴大對乳腺癌病理學和高質量診斷能力的了解，其最佳目標是提高乳腺癌患者的生存率，而不管他們的社會經濟背景如何。

Sean Huver 博士是 NVIDIA Clara AGX 團隊的高級機器學習工程師，致力于在醫療初創企業、研究人員和制造商中采用人工智能。此前，肖恩是計算機視覺領域的初創公司創始人，也是國防部高級研究計劃局和其他國防部項目的研究科學家。肖恩擁有路易斯安那州立大學的量子光學物理學博士學位和加州大學洛杉磯分校的物理學學士學位。

審核編輯：郭婷