來自IBM Watson和亞利桑那州立大學的一組研究人員發表了一項關于可解釋人工智能規劃（XAIP）的工作調查。 這項調查涉及67份文件和圖表，顯示了該領域的最新趨勢。

該小組由ASU的Yochan實驗室的Subbarao Kambhampati教授領導，重點審查了自動化規劃系統領域：那些產生旨在實現目標狀態的行動（或計劃）序列的系統。 可解釋的規劃系統能夠回答為什么選擇特定的行動或行動順序的問題。 該小組指出，這一領域中可解釋的系統可分為基于算法的系統、基于模型的系統或基于計劃的系統，近年來所有類型的研究都有所增加，但大多數工作都是基于模型的系統。

可解釋AI（X AI）近年來一直是一個積極的研究課題，受到DARPA2016年倡議的推動。 計算機視覺和自然語言處理等“感知”問題的機器學習的廣泛采用，導致了分類器的可解釋性技術的發展，包括LIME和AllenNLP解釋技術。 雖然感知是決定其環境現狀的一項重要技能，但一個自主系統-機器人、自動駕駛汽車，甚至是一個玩游戲的人工智能-也必須決定該做什么。 這些人工智能系統通常采用規劃，這產生一系列行動，供人工智能采取，以實現其目標。

可解釋的人工智能規劃（XAIP）系統能夠回答有關其計劃的問題;例如，為什么某一特定行動被或不包括在計劃中。 該團隊將這些系統分類為基于算法、基于模型或基于計劃的系統。 基于算法的解釋通常對系統設計者調試算法最有幫助，而不是最終用戶。 基于計劃的解釋使用摘要或抽象，使用戶能夠理解“在長時間范圍內和在大的狀態空間內運行的計劃。” 大多數研究都是基于模型的解釋，其中考慮到了這樣一個事實，即用戶的計算能力比人工智能低得多，而且往往有一個不同于“地面真相”的心理模型。 對于這些系統，解釋需要協調用戶的心理模型和系統模型。

DARPA的XAI計劃指出，可解釋系統的一個動機是提高用戶對AI結果的信任。 然而，Kambhampati的研究團隊指出，解釋過程也可能被“劫持”，以產生“不再是真實的，而是用戶認為滿意的任何東西”的解釋。 其他研究人員認為，如果人工智能和機器人要在社會上有效，這種欺騙甚至可能是必要的。 深度學習的先驅杰弗里·辛頓（GeoffreyHinton）在推特上淡化了解釋能力的必要性：

假設你患有癌癥，你必須在一個黑匣子AI外科醫生之間做出選擇，這個醫生無法解釋它是如何工作的，但治愈率為90%，而人類外科醫生的治愈率為80%。 你想讓人工智能外科醫生違法嗎？

Kambhampati認為這是一個“錯誤的二分法”，認為從長遠來看，我們既要有準確性，也要有可解釋性。