在 AI 領域，圖像理解是一個重要分支，而圖像語義分割，是計算機視覺技術中關于圖像理解的重要環節。《用于語義分割的雙重超分辨率學習》這篇論文針對的就是計算機視覺中的語義分割算法進行的創新研究。此次研究中的工作主要集中在語義分割領域，我們希望通過提出新的算法思路，促進語義分割領域的研究發展，啟發語義分割乃至其他領域的后續研究。

在6月14日-19日舉行的 2020 年 CVPR 年度大會上，賽靈思人工智能研發團隊的一篇名為《Dual Super-Resolution Learning for Semantic Segmentation（用于語義分割的雙重超分辨率學習）》的學術論文成功入選 Oral Paper！此次“語義分割” 研究成果獲得 CVPR 這樣頂會的支持，再次證明了賽靈思 AI 研發團隊在全球計算機視覺與人工智能研究領域的前沿地位。

為更好地理解此次論文發布的背景，并了解賽靈思通過該論文提供了什么樣前沿的研究和觀點，本期“AI 觀察室項目”特意安排了對話第一作者 – 賽靈思資深 AI 算法工程師王莉，同時該訪問也獲得了 AI 研發高級總監單羿博士的支持。

局限

探尋新算法打破語義分割局限

在 AI 領域，圖像理解是一個重要分支，而圖像語義分割，是計算機視覺技術中關于圖像理解的重要環節。《用于語義分割的雙重超分辨率學習》這篇論文針對的就是計算機視覺中的語義分割算法進行的創新研究。

王莉表示：我們的團隊在賽靈思主要從事算法相關工作。日前我們在對基于深度學習的語義分割算法進行分析時，發現其中存在一些問題。目前 State-of-the-art 的語義分割算法通常依賴大網絡來提取特征圖進行語義預測，這些高性能的算法往往需要較大的算力，限制了其在資源受限的硬件上的應用（比如手機和 FPGA）。另外，有一些已有工作通過設計輕量級的網絡結構來減少算力，但是這類方法在降低計算量的同時，精度往往也損失嚴重。我們研究發現，對于基于大網絡高性能的方法以及基于輕量級網絡的方法都需要高分辨率的輸入來提取同樣高分辨的特征圖來保障精度。然而，如果使用高分辨率輸入，就不可避免地會帶來巨大的算力需求，其結果就是限制了算法在資源受限的硬件平臺上的應用；另一方面，一旦減少輸入分辨率，語義分割的精度就會嚴重受損。

為了有效緩解大網絡高性能算法和輕量級網絡算法的局限性，我們團隊從特征分辨率的角度來探究其對不同語義分割算法精度和算力的影響，希望能夠實現一個新的學習算法框架，使其既能有效提高分割精度，又不增加額外的推斷計算成本。

誕生

雙重超分辨率學習算法的誕生

算法研究不同于軟硬件研究。軟硬件研究可以借助軟件或硬件本身的優勢，開發針對于特定操作或模型的優化策略，進而提升模型的硬件性能（例如減少FPGA 延遲，提高并行度等），而算法研究側重于在算法層面提出創新方案，例如通過優化訓練算法提高模型的精度，優化模型算子或設計網絡結構減少模型算力。

王莉介紹說，在正式進行研究之前，團隊的小伙伴們做了大量的文獻調研和算法分析工作；研究過程中，不斷進行算法思路的頭腦風暴，并結合充分的實驗，我們不斷思考、調整、驗證。最終成型算法不僅涉及語義分割任務本身的方法和框架，同時也涉及超分辨率學習領域的算法知識。如何借助超分辨率學習的任務來提升語義分割性能，如何讓二者有效結合，相輔相成，成為了王莉及相關團隊成員面臨的最大挑戰。經過不斷的探索和實驗，王莉最終提出了一個簡單且靈活的雙流框架，稱為雙重超分辨率學習（Dual Super Resolution Learning， DSRL）的算法思路。

具體來說，所提出的方法包括三個算法模塊：語義分割超分辨率（SSSR），單圖像超分辨率（SISR）和特征相似性（FA）模塊。語義分割超分辨率（SSSR）分支模塊目的在于學習超分辨率的特征表示進行語義分割預測，也就是相對于輸入分辨率來說，最終學習到特征圖具有更高分辨率的特征表示。單圖像超分辨率（SISR）分支模塊用來提取圖像精細的結構信息，輔助另一分支的語義分割任務，SISR模塊另一個特點是不需要額外的數據標注。特征相似性（FA）模塊旨在學習 SSSR 和 SISR 模塊之間的相似性，通過約束二者對齊以達到更好的知識遷移目的。我們所提出的 DSRL 算法可以保持低分辨率圖像輸入下學習得到的高分辨率特征表示，在相同計算復雜度下提升模型精度。而且，該算法可以很容易地推廣到其他同樣依賴高分辨率特征表示的任務，如人體姿態估計（Human Pose Estimation）。我們的實驗體現這種簡單而有效的算法在語義分割和人體姿勢估計方面都有良好的表現，具有良好的代表性和通用性，對于不同算法框架和不同分辨率情況下都能獲得性能提升。比如，對于在 CityScapes benchmark 上的語義分割任務，可以在不增加算力情況下將 mIoU 提高至少 2 個點，或者只消耗 70% 的算力就能達到和基線方法相似的精度。對于人體姿勢估計任務，我們同樣可以在相同 FLOPs 情況下獲得不少于 2 個點的 mAP 提升，或者在保持 mAP 精度不損失情況下減少 30％ 的 FLOPs。

論文核心思想

介紹這種雙重超分辨率學習算法，及其如何提升語義分割和其他相關任務的性能。

其帶來的價值優勢顯而易見：在不增加推斷算力的情況下，以不同的輸入分辨率為不同的基線方法帶來可觀的精度提升。

強大

獲選 CVPR 背后的賽靈思 AI 研發團隊

CVPR 是計算機視覺領域的頂級學術會議。對于所有從事計算機視覺領域的工程師來說，能夠入圍 CVPR 無疑是一項巨大的肯定。

CVPR 論文評審團會從投稿論文的創新性、實驗效果及論文表述等維度進行評判。我們的研究的主要創新點在于，提出一種雙重超分辨率學習算法，學習高分辨率的特征表示以提升語義分割的性能，特別對于低分辨率輸入情況有明顯改善。我們的算法思路簡單，超分學習不需要額外的數據標注，且具有一定的通用性，對于人體姿態估計任務同樣有效。也正是由于我們的團隊在圖像視覺算法及語義分割領域提出了獨立、創新的觀點，我們才能最終入圍 CVPR。

成功投稿 CVPR 的背后蘊藏著團隊的不懈努力和對研發方向的合理把握。團隊負責人單羿博士為此次獲選 Oral Paper 感到高興。他介紹說，賽靈思 AI 團隊基于深鑒科技研發部門原班人馬打造，圍繞賽靈思 FPGA 芯片，形成從 AI 算法、軟件工具鏈到硬件 DSA 的完整解決方案。在近兩年的時間里，深鑒研發團隊高效地整合到賽靈思研發體系當中，從創業公司時為客戶定制設計、轉為通用的產品研發思路，打造了 Vitis AI 工具鏈，覆蓋云端到嵌入式等不同規格 FPGA 芯片，已經服務于國內外眾多數據中心、輔助駕駛、智能安防等領域的重要客戶。作為一家靈活可編程的 FPGA 芯片公司，我們始終認為對客戶應用的理解、敏捷高效地適配客戶需求至關重要，在 AI 領域我們擁有 20 余位算法工程師，他們不僅關注模型量化及 DSA 的映射，更關心面對客戶產品規劃如何開發真正高效、硬件友好的算法模型。學術文章的發表并不是我們主要的工作內容，我們更在意基于賽靈思 FPGA 的 Vitis AI model zoo，它針對視覺、語言等領域的不同任務發布了優化的深度學習模型，以加快賽靈思 FPGA 平臺上深度學習推理的部署。通過采用量化、剪枝、多任務學習、自動網絡搜索等技術，我們面向醫療、安防和駕駛等領域發布接近實際應用的深度學習模型，歡迎大家下載試用。

圖：賽靈思 AI 研發高級總監單羿博士

這篇論文已經正式在CVPR 平臺發布，感興趣的朋友可以點擊“閱讀原文”下載論文。另外，歡迎有實習意向的同學，通過 webmarketing_apac@xilinx.com 投遞深度學習/機器學習算法實習生崗位