作為 AI 界的領軍人物，谷歌云人工智能和機器學習首席科學家李飛飛一直致力于 AI 民主化，希望利用 AI 造福社會。在昨日舉行的清華大學—谷歌 AI 學術研討會上，李飛飛就介紹了自己在“AI + 醫療”領域的最新前沿工作。

和機器閱片等常見的 AI 醫療應用不同，李飛飛希望通過計算機視覺技術分析醫務人員的行為，然后給出反饋，幫助他們為病患提供更高質量的醫療服務，當然這里面目前還存在諸多的困難和挑戰。

李飛飛表示，這項研究的第一個落地應用就是監督醫護人員清洗雙手，這是為什么？

以下為演講實錄：

感謝清華大學的邀請！作為谷歌AI中國的團隊，我們也很榮幸有機會在今、明兩天與大家共同探討基礎科學的學術話題。

今天我給大家分享的實際上是最近五六年以來一次比較新的探索，雖然大家知道我做的很多研究很多都是計算機領域機器學習的基礎科學，但是在應用方面，我們一直堅信“以人為本”的AI，需要對人類的福祉有所幫助。我個人最重視的一個應用領域是醫療健康領域，所以，此次講座我將給大家分享一下，最近兩年我們在醫療健康領域的一些探索，還希望聽取大家的意見。

這次演講的主題是 Illuminating the Dark Space: Towards Ambient Intelligence in AI-assisted Healthcare。

在開始之前，我想向眾多的合作方、學生、博士后，特別是在過去的五六年時間里，與我們在 AI 和醫療健康領域一起工作的臨床醫生表示感謝。除了以上與我列舉的這部分人員合作之外，我們還與世界各地的醫院合作，包括斯坦福大學Lucile Packard兒童醫院以及斯坦福大學醫學院。此外，我們還與猶他州山間麥凱迪醫院、舊金山Unlock高級中心合作。剛剛，我們還與上海交通大學以及瑞金醫院開展了一項令人興奮的研究合作。

▌何為Ambient Intelligence？

在中國和美國，醫療健康都是最受關注的問題。不斷提高的成本，是全球醫療健康的主要問題之一。雖然醫療成本不斷上漲，但質量并不見得會一定提高。那我們又該如何提高醫療質量呢？削減成本是目前主要的研究和提高的方向。但幸運的是，在過去的十年里，推進醫療方面的工作已取得了很大的成就。我們已經看到藥物和疫苗上的改進。我們看到了醫療影像的改進，醫療設備等方面巨大的進步。正如我的同事 Jeff Dean 在上午的分享中提到的那樣，大數據和人工智能正推動醫療健康特別是診斷方面的進一步發展。此外，精密醫學、藥物發現相關的治療選擇，正基于機器學習、人工智能取得了新的進展。

但是，在過去幾年里我關注的醫療健康領域里，有一個往往被多數人忽略的領域，即醫療健康服務的物理空間。如果你考慮到了“醫療”這個詞，那么“療”這個詞則非常重要。因為，物理空間指的是臨床醫生、護士、醫生為治療病人的地方。我們需要在一定的物理環境下通過與患者的互動來提升醫療服務的水準。

因此，在這段時間里我們在斯坦福大學研究的方向是，賦予醫療物理空間“Ambient Intelligence”的屬性。讓我先來定義下“Ambient Intelligence”的概念。需要說明的是，我們并非第一個想到這個概念，而這個概念也并非特屬于醫療領域。因此，一個可接受的定義是：未來將是一個環境滿足需求的世界，多數情況下我們無需思考，智能也會縈繞空間，就像這個房間里的燈光。你感受不到科技的存在，但它就在那里，幫助我們更好地做一些事情。這就是我們所說的“Ambient Intelligence”。

那么，為什么我們需要變得智能？為什么我們需要提高醫療健康的服務質量？這是因為，執行和操作是臨床醫生在醫療服務中的一大痛點。在醫療領域，我們通過數百年知識的積累，需要在各種程序中完成預期的操作，而實際上，符合預期的操作并不總是發生。當出現小毛病、疏忽或錯誤時，就會涉及醫療成本。而這種成本，往往關乎人類的生命。

事實上，如果與一年內車禍死亡的人數相比的話，醫療事故引發的死亡人數遠遠高于前者。所以，這對我們而言是一個非常重要的問題。如果 AI 可以用來幫助解決這個問題，那么這會是一個以人為本的應用。在美國，國家醫學研究所每隔幾年就會針對醫療服務中出現的人為錯誤進行深度研究。這是我們思考的起點。

為什么臨床醫生會在醫療中犯錯誤呢？這一切都是靠人的主觀意識完成的。在一個高度復雜的環境下，治療到什么樣的程度也是非常復雜，中間有很多步驟和程序，也有很多的不確定性和不可預測性。

而且，錯誤或疏忽等都會導致這些問題的發生。所以，當潛在的錯誤都可以預測時， 便意味著以上醫療問題都能得以解決。例如，病人可能會從床上掉下來，就需要通過行為活動傳感器以檢查患者是否墜落。再或者檢查是否需要進行手部衛生的處理，與之相關的傳感器就被發明出來，試圖解決這個問題。此外，還有許多不同類型的本地化解決方案試圖縮小醫療健康質量與服務之間的差距。

這關鍵就在于高度本地化。 每當出現一個錯誤或潛在的缺陷，就需要一個新的解決方案，且不具備可擴展性。這些本地化解決方案有很多不同的情景無法預測、監控。

那么我們能做些什么呢？

有另一種方式可以考慮改善醫療健康的質量。大概五年前，我和斯坦福的同事們就開始跟進一種新的技術浪潮——自動駕駛技術，而這種新技術似乎與醫療健康毫無關系。但事實上，它們是高度相關的。

先來看看自動駕駛汽車是如何工作的。

這是一款配備了智能傳感器的汽車，它能夠感知從行人，到汽車、物體、路標等的道路環境。而且，一旦它能感知環境，就會將信息輸入到后臺，你就能利用機器學習算法做出決定和預測，輔助汽車駕駛。所以，我們受到這種思維以及“Ambient Intelligence”概念的啟發，想要將 AI 注入到醫療服務的物理空間中，以便我們能夠協助執行預期的步驟。

這是一個醫院單元的示意圖：由許多傳感器覆蓋，可以觀察不同的醫療服務情況。首先，我們需要通過傳感器的性能來改造物理空間，如果是一家（設備）傳統的醫院，它可能就沒有現代化的傳感器以幫助收集并將這些潛在的信息傳遞給算法。接下來，一旦我們收集了數據，我們需要辨認出在這個環境里的活動，無論是手術室、病人康復室，還是在養老院里。

而辨認出該醫療活動的關鍵因素在于對人類活動的理解進行可視化。現在，如果你來自計算機視覺領域，那么你可以將醫療應用與計算機視覺的基礎科學聯系起來。事實上，多年以來，理解人類活動一直是計算機視覺的核心問題。所以，我將展示一些可以幫醫療服務環境提升的基礎科學研究。最終我們希望整個醫療數據可以整合到整個醫療生態體系中。

▌讓AI注入醫療服務的每一環節

接下來的演講中，通過展示我們最近的一些工作，我將分享到以下三個研究方向：感知、人類活動識別，以及醫療生態體系。

1、感知

首先是感知，即將傳感器集成到物理空間，并構建一個數據基礎架構的過程。我們最近在《新英格蘭醫學雜志》上發表了一篇評論文，討論了我們在試點中所做的工作。

我想問在座的各位：在醫療服務環境中，基于“Ambient Intelligence”的感應系統最重要的部分是什么？

一是隱私，這是非常重要的。患者需要隱私，臨床醫生也需要隱私。

二是通過空間進行感知。剛才提到的本地化解決方案，其部分問題是因為太過于本地化了，很難在空間上擴展。

三是根據時間進行感知。如果人類來觀測活動，他們往往會感到厭倦。

所以，我們想利用機器并且將其變得可擴展。在過去的數十年里，現代傳感器已經有了很大的發展。那些曾經玩過 Xbox 視頻游戲的玩家，應該都知道深度傳感器，它可以用來保護隱私。

如何通過深度傳感器收集人類活動的數據？

在我們的兩所試點醫院（猶他州兒童醫院和承認重癥監護病房）中，我們進行了深度傳感器的試用。（圖片上）能看到橙色的圓點就是深度傳感器，它們被安裝在醫院的病房中。例如，在兒童醫院，我們安裝了將近30個不同的傳感器，目的就是為了通過傳感器獲取更多的數據以理解人類的行為。

還有一種傳感器，它與前者相互補，主要作用于生理信息，即熱傳感器。通過深度傳感器可以看到病人輪廓；而通過熱傳感器收集信息，你不僅可以看到病人的輪廓，你實際上還能看到其他關鍵的物體，如氧氣管。這對病人而言是非常重要的。所以，在我們的試點研究中，我們同樣也會用到熱傳感器。

實際上，我們正在與舊金山的一所養老院合作，在養老院里安裝了熱傳感器和深度傳感器，以幫助醫生監測老人的行為，幫助他們獨立生活。

其實，將傳感器投放在醫療環境中，數據基礎架構的建設就已經面臨著巨大挑戰。例如，持續的數據源就意味著大量數據的涌入。如果我們使用傳感器的原始分辨率，就會出現需要處理海量數據的問題。因此，我們進行了一些自適應抽樣以減少要處理的數據。

這些都是我們必須面臨著的技術挑戰。但我們依然保持著：對人類行為識別的計算機視覺研究的專注，也希望應對醫療環境下的種種挑戰，為計算機視覺的基礎科學研究做出貢獻。

2、人類活動識別

視覺智能，指的是在動態物理世界中發生的過程。談到動態這個概念，有很多的信息、事物轉瞬即逝。這意味著：我們有時會處理之前從未見過的情況。例如，在醫療環境這種復雜的情況下，這名患者在地板上睡了會兒，在床上又睡了會兒。這并非是我們通常利用數據進行訓練的場景。所以，這種問題有待解決。

在醫療場景中，我們還要處理物理空間的限制問題。比如一般計算機視覺處理的都是類似 YouTube 用戶上傳的視頻，但是醫院的空間有限，因此傳感器的裝設位置也受到限制，拍攝到的都是各種角度的畫面，非常具有挑戰性。同樣重要的是，我們還會面臨計算效率的問題，因為我們希望為臨床醫師提供實時反饋，因此計算效率極為重要。

人類活動識別是目前計算機視覺領域最受關注的方向之一，目前也已經一些公開的數據集，而且也有很多非常不錯的工作。我想介紹的是，我們是如何把我們的工作和醫療健康應用相結合的。

第一個是發表在 ECCV 16 上的一篇論文，論述了如何處理不同視野角度的問題，這只是最基礎的。我們用到了很多深度學習結構，比如這個用來做圖像分類的 Vanilla CNN 網絡。

比如，我們希望檢測臨床醫師在進出病人的房間前后是否都有洗手，就需要面臨很多的挑戰。首先，由于我們的傳感器大都安在天花板上，因此畫面的視角和正常的 YouTube 視頻畫面的視角非常不一樣。此外，人是運動的，因此我們安裝了很多傳感器，來對人進行追蹤。

我這里簡單介紹下視角問題。我們使用了 Vanilla CNN 網絡來做分類，唯一的變化就是我們增加了一個轉換網絡（transformer network），來解決訓練數據的視角問題。然后，為了解決多個傳感器的追蹤問題，我們將不同的個體進行 ground projection，然后將整個 3D 空間的投影結合起來，進行聯合優化，以此來追蹤不同的個體。

為什么我們會選擇手部衛生作為第一個應用案例呢？因為不注意手部衛生是病人死亡的重要元兇之一。實際上，因為每年死于醫院獲得性感染的病人是交通事故致死人數的三倍。而大多數的醫院獲得性感染都是沒有注意手部衛生導致的。這是醫療系統里的一個頑疾，解決這個問題的唯一辦法是派人到醫院里監督醫生和護士，督促他們洗手。但是這種方法非常低效，不僅不能做到實施監督，也非常耗費時間，而且人也可能會犯錯誤。

因此，通過使用深度學習和智能傳感器系統來對醫務人員進行追蹤，我們取得了非常好的結果。和人類檢查員相比，我們的方法觀察到與事實更接近。

我們的系統可以追蹤醫務人員的行動軌跡，而這些數據對醫療系統來說非常寶貴，不僅僅可以用來追蹤醫務人員洗手了沒，還可以用來優化工作流程。

結合智能傳感器和計算機視覺識別系統，我們在手部衛生檢測領域取得了鼓舞人心的結果。下一步，我們將會把反饋信號實時傳遞到周遭環境中，以此來督促大家洗手。不過，這還遠遠不夠，我們還需要理解各種不同的行為，觀察它們，最終幫助醫生和護士優化治療和護理流程，這一點很重要。這就引出了我們的下一項工作：密集多標簽活動識別。

比如，在 ICU 里面經常會涉及到測血壓、綁止血帶、用醫用究竟噴霧消毒等等一系列的動作，我們希望最終能夠映射所有的醫療活動，幫助醫生和護士更好地照顧病人。為了做到這一點，僅僅用 CNN 是不夠的，特別是對于靜態幀分類。我們真正想做的，是將其擴展到時域，利用視頻數據來識別人類活動。很多人都對此領域做出過相關貢獻，這里我就不展開了。

但是總的來說，利用視頻來進行活動識別的工作仍然很少，大部分工作都是活動分類，比如為潛水視頻打一個單一的標簽，或者是活動檢測，為視頻中不同活動分配相應的標簽。不過，時域理解仍然處在比較初始的水平，比如很多幀都沒有標簽，而且大多數的測試視頻都只有一種或少數幾種活動類型。在醫療健康領域，活動要密集的多，因此我們需要識別更多不同種類的活動。

為了解決這個問題，我們開發了基于 RNN 序列模型的網絡，使用 multilevel loss 來預測同時發生的活動。我們在 MultiHUMOS 數據集上進行了計算機視覺基準測試，與 Vanilla LSTM 或者 Stream CNN 相比，我們的算法在多活動標記領域取得了領先的成果。

我們正試著在 InterMountain 醫院的 ICU 里部署我們的模型，來觀察病人的活動。我們選擇從病人的四種活動開始，比如上床、下床等動作。知曉病人的活動水平，對醫務人員提供更好的醫療服務至關重要。

最后，我還想介紹下我們在減少訓練數據量方面的工作，這在養老院的應用中非常有用。人口老齡化是世界性的問題，我們真的需要做一些事情來幫助老人們。

我們和很多老年病患交談過，并確定了十幾種和老年人健康息息相關的行為。我們希望最終使用計算機視覺系統來識別他們的行為，幫助患者和醫生。舉例來說，跌倒對老年人說是一個大問題，它甚至有可能奪走老人的生命。我們正在嘗試解決跌倒檢測的問題，但是在這個領域，我們不可能收集到大量的訓練數據，因此我們的一個想法是使用自監督學習系統，比如我們去年發布在 CVPR 上的一項工作。另外，我們還嘗試了遷移學習的想法。

3、醫療生態系統

最后，融入整個醫療生態系統也非常重要。為此，我們與斯坦福大學的其他小組展開合作，在為醫院賦能時，我們不僅考慮智能傳感器本身，還與病理學、放射學、醫療文獻、圖片等相結合。比如，我們和皮膚科醫生一起研究燒傷患者的圖像分割，又比如，我們也一直在尋找手術視頻來識別手術中的活動。

總的來說，這是一個非常新興的研究領域，它使用計算機視覺和機器學習算法來改善醫療保健服務，并幫助醫生和護士觀察病人活動，提高護理質量，從挽救更多的生命。從感知到人類活動識別到生態系統，以及建立大型合作關系，未來還有許多工作要做。

希望有人能夠對這一領域的研究感興趣。

謝謝大家！