谷歌AI最近分享了兩篇研究論文，描述了在醫療保健領域類似圖像搜索的人機交互研究進展。在第一篇題為《SMILY: 組織病理學的相似圖像搜索》的論文中，他們描述了一個基于ML的工具，用于病理學中的反向圖像搜索。第二篇論文《醫療決策過程中，以人為中心處理不完美算法的工具》探索了基于圖像搜索的不同細化模式，并評估了它們對醫生與SMILY交互的影響。

SMILY實現了一個深度學習模型，使用50億個自然的、非病理圖像進行訓練。該模型學會了通過計算和比較圖像的嵌入來區分相似的圖像和不同的圖像，然后使用癌癥基因組圖譜中未識別圖像的語料庫創建圖像補丁及其相關嵌入的數據庫。當在SMILY工具中選擇一個查詢圖像補丁時，將以類似的方式計算查詢補丁的嵌入，并與數據庫進行比較，以檢索嵌入最相似的圖像補丁。

SMILY在協助搜索大型數據庫的數字化病理圖像上有很大的潛力。它可以幫助編制帶有描述性說明的病理圖像教材的索引，使受訓的醫科學生或病理學家能夠使用視覺搜索對這些教材進行檢索，加快教學進程。

此外，它還可以應用于癌癥研究人員感興趣的研究——腫瘤形態學與患者預后的相關性。研究結果還表明，復雜的ML算法需要與以人為中心的設計和交互工具相結合，這是最有意義的。