人工智能正在改變幾乎所有行業和應用領域的工程。隨之而來的是對高 AI 模型準確性的需求。事實上，AI 模型在取代傳統方法時往往更準確，但這有時也會付出代價：復雜的 AI 模型是如何做出決策的;作為工程師，我們如何驗證結果是否如預期那樣有效?

進入可解釋 AI —— 它是一套工具和技術，可幫助我們理解模型決策，并發現黑盒模型的問題，如偏差或對抗攻擊易感性。可解釋性可以幫助AI模型的使用者理解機器學習模型是如何得出預測，這就像理解哪些特征驅動模型決策那樣簡單，但在試圖解釋復雜模型時會變得困難。

AI 模型的演變

為什么要大力推動可解釋 AI 技術?模型并不總是那么復雜。其實，我們不妨先看一個冬季恒溫器的簡單示例。基于規則的模型如下所示：

低于 65 華氏度開啟加熱器

高于 68 華氏度關閉加熱器

恒溫器是否正常工作?變量包括當前室溫和加熱器是否工作，所以根據室內溫度很容易進行驗證。

由于問題的簡單性或對物理關系的固有“常識性”理解，某些模型(如溫度控制)本質上是可以解釋的。一般來說，對于不能接受黑盒模型的應用，使用本身具有可解釋性的簡單模型是可行的，只要模型足夠準確，就可接受并視為有效。

但是，轉向更高級的模型可以帶來以下優勢：

準確度：

在許多情況下，復雜的模型會帶來更準確的結果。有時結果可能不會立即顯現出來，但可以更快地找到答案。

處理更復雜的數據：

工程師可能需要處理復雜的數據，如流信號和圖像，這些數據可以直接用于 AI 模型，從而節省大量的建模時間。

復雜應用領域：

應用的復雜性不斷增加，新的研究正在探索深度學習技術可以替代像特征提取等傳統技術的更多領域。

圖 1：AI 模型的演變。簡單模型可能具有更高的透明度，復雜的模型則可以提高性能。

為什么尋求可解釋性?

AI 模型通常被稱為“黑盒”，你無法看到模型在訓練過程中學習了什么，也無法確定模型在未知條件下是否能按預期工作。對可解釋模型的關注旨在提出有關模型的問題，以發現任何未知數并解釋它們的預測、決策和行動。

復雜性與可解釋性

在轉向更復雜模型的過程中，理解模型內部運行情況的能力變得越來越具有挑戰性。因此，隨著預測能力的提升，工程師們需要找到新的方法來確保他們能夠保持對模型的信心。

圖 2：可解釋性和預測能力之間的權衡。一般來說，更強大的模型往往不太容易解釋，工程師將需要新的方法來實現可解釋性，以確保隨著預測能力的提升，他們能夠保持對模型的信心。

使用可解釋的模型可以提供最深入的見解，而無需為流程添加額外步驟。例如，使用決策樹或線性權重可以為模型選擇特定結果的原因提供確切的證據。

工程師需要更深入地了解他們的數據和模型，并出于以下原因推動可解釋性研究： 1. 對模型的信心：

基于其角色以及與應用的交互，許多相關人員都很關注解釋模型的能力。例如：

決策者希望信任并理解 AI 模型的工作方式。

客戶希望確信應用在所有場景中都能按預期工作，并且系統的行為是合理和可理解的。

模型開發人員希望深入了解模型行為，并且可以通過了解模型做出特定決策的原因來提高準確性。

2. 監管要求：

人們越來越希望在具有內部和外部監管要求的安全關鍵領域和治理及合規應用中使用 AI 模型。盡管每個行業都有特定的要求，但提供訓練穩健性、公平性和可信度的證據會很重要。

3. 識別偏差：

當模型在有偏差或采樣不均勻的數據上進行訓練時，就會引入偏差。對于應用于人的模型，偏差尤其令人擔憂。模型開發人員務必要了解偏差會如何隱式地影響結果，并將這種影響納入考慮，以便 AI 模型進行“泛化”，即提供準確的預測，而不會隱式地偏向于組和子集。

4. 調試模型：

對于處理模型的工程師來說，可解釋性可以幫助分析不正確的模型預測。這可能包括調查模型或數據中的問題。下面一節將介紹一些有助于調試的具體可解釋性技術。

當前的可解釋性方法

可解釋性方法分為兩類：

全局方法：

根據輸入數據和預測輸出，提供模型中最具影響力的變量的概覽。

局部方法：

提供對單個預測結果的解釋。

圖 3：全局方法和局部方法的區別。局部方法側重于單項預測，而全局方法側重于多項預測。

了解特征影響

全局方法包括特征排序，它根據特征對模型預測的影響程度對特征進行排序;還包括部分依賴圖，它聚焦于一個特定特征，并指出其在整個值范圍內對模型預測的影響。

最常用的局部方法包括：

1. 用于機器和深度學習的 LIME：

與模型無關的局部可解釋性方法 (LIME) 可用于傳統機器學習和深度神經網絡的解釋。其主要機理是在關注點附近用一個簡單、可解釋的模型來逼近一個復雜模型，從而確定哪個預測變量對決策影響最大。

2. Shapely 值：

某個數據點 (也叫查詢點)的特征的 Shapley 值解釋了該特征導致的預測與平均預測的偏差。使用 Shapley 值解釋各個特征對指定查詢點處預測的影響。

可視化

在為圖像處理或計算機視覺應用構建模型時，可視化是評估模型可解釋性的最佳方法之一。

模型可視化：Grad-CAM 和遮擋敏感度等局部方法可以識別圖像和文本中對模型預測影響最大的位置。

圖 4：可視化提供對網絡錯誤預測的深入見解。

特征比較和分組：全局方法 T-SNE 是使用特征分組來理解類別之間關系的一個示例。T-SNE 在用簡單的二維圖顯示高維數據方面表現出色。

這些只是目前可用于幫助模型開發人員實現可解釋性的眾多技術中的一小部分。無論算法的細節如何，目標都是相同的：幫助工程師更深入地了解數據和模型。在 AI 建模和測試期間使用時，這些技術可以為 AI 預測提供更多洞察力和信心。

可解釋性之外

可解釋性有助于克服許多高級 AI 模型的黑盒性質。但消除相關人員或監管機構對黑盒模型的抵制，只是在工程系統中自信地使用 AI 的一步。在實踐中應用 AI 需要使用能夠被理解的模型，這些模型應遵循嚴格的構建流程，并且能夠在符合安全關鍵性和敏感型應用要求的水平上運行。

持續關注和改進的領域包括：

驗證和確認：

驗證和確認是正在進行的一個研究領域。它對可解釋性進行了拓展，從確信和證明模型在特定條件下有效，擴展到重點關注在安全關鍵型應用中使用的必須滿足最低標準的模型。

安全認證：

汽車和航空航天等行業正在定義針對其應用的 AI 安全認證。用 AI 取代或增強的傳統方法必須符合相同的標準，并且只有證明結果并顯示可解釋的結果，才能取得成功。

更透明的模型：

系統的輸出必須符合角色的期望。這是工程師從一開始就必須考慮的問題：將如何與最終用戶分享結果?

可解釋性是否適合您的應用?

未來的 AI 將非常強調可解釋性。隨著 AI 被應用于安全至關重要的日常應用中，來自內部相關人員和外部用戶的審查可能會增加。將可解釋性視為每個人可以獲得的基本益處。工程師可以使用更準確的信息來調試他們的模型，以確保輸出與他們的直覺相匹配。他們將獲得更多洞察信息來滿足各種要求和標準，并且能夠專注于提高日趨復雜的系統的透明度。

| 關于作者

Johanna Pingel

Johanna Pingel，MathWorks 產品經理，主要負責機器學習和深度學習應用，致力于讓 AI 更實用、更有趣、更可行。她于 2013 年加入公司，擅長 MATLAB 圖像處理和計算機視覺應用。

審核編輯：湯梓紅

?