圖 1. 一個包含三部分信息的胸部 X 光報告示例。在 impression 部分，放射專家結合 Findings、病人臨床歷史及影像學研究的指導做出診斷。Findings 部分列出了影像學檢查中所檢測的身體各部分放射學觀察結果。Tags 部分給出了表示 Findings 核心信息的關鍵詞。這些關鍵詞使用醫學文本索引器（MTI）進行標識。

第二，醫療圖像報告通常更注重敘述異常發現，因為這樣能直接指出疾病、引導治療。但如何定位圖片中的病變區域并附上正確的描述非常困難。作者們解決該問題的方法是引入一種協同注意力機制（co-attention mechanism），它能同步關注圖像和預測到的標簽，并探索視覺與語義信息帶來的協同效應。

第三，通常醫療圖像的描述非常長，包含多個語句或段落。生成這樣的長文本非常重要。相比于直接采用單層 LSTM（難以建模長語句），作者們利用報告的合成特性采用了一種層級 LSTM 來生成長文本。結合協同注意力機制，層級 LSTM 首先生成高級主題，然后根據主題生成細致的描述。

總而言之，該論文的主要貢獻包括：

提出一種多任務學習框架，能同步預測標簽并生成文本描述；

介紹了一種協同注意力機制來定位異常區域，并生成相應的描述；

建立了一種層級 LSTM 來生成長語句、段落；

通過大量定量與定性的實驗展示該方法的有效性。

論文：On the Automatic Generation of Medical Imaging Reports

論文地址：https://arxiv.org/abs/1711.08195

摘要：醫學影像廣泛用于診斷和治療等醫療實踐中。通常專業醫師需要查看醫學影像，并寫文本報告來記錄發現。缺乏經驗的醫生寫報告容易出錯，且在醫患比例過低的國家，編寫報告會耗費大量時間。為了解決該問題，我們研究了醫學影像報告的自動生成系統，以幫助人類醫生更準確高效地寫報告。但目前該任務面臨多個挑戰。首先，完整的報告包含多種異質形式的信息，如用段落表示的發現和關鍵詞列表表示的標簽。第二，機器很難識別醫學影像中的異常區域，在此基礎上生成文本描述則更加困難。第三，報告通常比較長，包括多個段落。為了解決這些挑戰，我們（1）構建一個多任務學習框架，能夠同時執行標簽預測和段落生成；（2）提出一種協同注意力（co-attention）機制來定位異常區域，并生成描述；（3）開發一種分層 LSTM 模型用于生成長段落。最后我們展示了該方法在胸部 x 光和病理數據集上的有效性。

圖 2. 整個模型的結構與過程。其中 MLC 代表多標簽分類網絡，語義特征是預測標簽的詞向量。粗體標記的「calcified granuloma」和「granuloma」是協同注意力網絡關注的標簽。

3. 方法

在本章節中，我們將介紹具體使用的方法。以下簡要地介紹了整個方法的過程，各部分詳細的過程或理論請查看原論文。

一份完整的醫學影像報告通常包括非結構化的描述（以語句和段落的形式展示）和半結構化標簽（以關鍵字列表的形式展示），如上圖 1 所示。我們提出了一種多任務層級模型，該模型帶有協同注意力機制（co-attention）且能自動預測關鍵字并生成長段落。給定一張經過分割的圖像，我們使用一個 CNN 來學習這些圖像塊的視覺特征。然后再饋送這些視覺特征到多標簽分類網絡（MLC）以預測相關的標簽。

在標簽詞匯表中，每一個標簽由一個詞向量表征。若給定特定圖像一些預測的標簽，模型會檢索它們的詞嵌入向量以作為該圖像的語義特征。模型隨后將視覺特征和語義特征饋送到協同注意力（co-attention）模型以生成能同時捕獲視覺和語義信息的上下文向量。至此，編碼的過程就完成了，下面模型將從背景向量（context vector）開始解碼生成文本描述。