神經網絡一直以“黑箱”的存在形式，讓人捉摸不透。

比如一個汽車識別模型（14c： 447），它究竟是怎么認出圖片中的汽車的？如果我們可以看到模型內部，我們可以發現14c： 447是由一個輪子探測器（4b： 373）和一個窗口探測器（4b： 237）構成的。

OpenAI最近推出了一個有趣的工具“顯微鏡（OpenAI Microscope）”就可以做到這一點，借助OpenAI顯微鏡，研究人員可以更好地理解神經網絡的結構和行為。

OpenAI表示，神經網絡是成千上萬神經元相互作用的結果（有時成千上萬甚至更多），而OpenAI顯微鏡就像一個神經元可視化圖書館，能夠快速、方便地詳細研究這些神經元的相互作用，并分享這些觀察結果。

OpenAI網址：

https://microscope.openai.com/

在 OpenAI 顯微鏡網站上，OpenAI指出，“ OpenAI 顯微鏡是幾個常見的‘model organisms’的每一個網絡層和神經元的可視化集合，被用來研究神經網絡的可解釋性。顯微鏡可以讓研究人員更容易地分析這些神經網絡內部形成的特征，我們也希望它能夠幫助研究人員理解這些復雜的系統。”

“盡管我們將這項技術提供給任何有興趣探索神經網絡如何工作的人，但我們認為其主要價值在于提供持久的、共享的人工智能模型，以促進對這些模型的長期比較研究。我們也希望擁有相近專業知識的研究人員ーー例如神經科學ーー能夠更容易地了解這些視覺模型的內部運作方式，從中找到價值。”

為了進一步解釋工作原理，OpenAI表示： “ OpenAI 顯微鏡基于兩個概念，一個是模型中的位置，另一個是其應用的技術，比喻地說，位置就是你指向顯微鏡的地方，技術就是顯微鏡上面的鏡頭。”

此外，模型是由一個節點圖體現的，也就是通過邊連接的神經網絡層。每個節點包含數百個單元，大致類似于神經元。大多數正在使用的技術只有在特定的分辨率下才有用。例如，特征可視化只能指向一個單元，而不能指向它的父節點。

在介紹顯微鏡的同時，OpenAI也表示希望顯微鏡將有助于電路協作工作，通過了解神經元之間的連接，對神經網絡進行逆向工程。

目前，OpenAI顯微鏡對包括AlexNet系列、Inception系列、ResNet V2 50和VGG19在內的8個常見圖像識別模型提供支持。

除了OpenAI的顯微鏡試圖對神經元進行可視化，一些公司也試圖對機器學習模型進行可視化。比如Facebook的Captum就試圖可視化解釋Pytorch機器學習模型所做的決定，支持跨模式的模型的可解釋性，包括CV、NLP模型，可以支持大多數類型的 PyTorch 模型，只需對原始神經網絡進行最小修改即可使用。

Captum網址：

https://captum.ai/

可以說從神經網絡模型出現開始，研究人員就對其如何預測充滿好奇，可解釋的神經網絡也成了一些研究人員的工作目標，除了剛才提到的OpenAI顯微鏡和Captum這些，還包括TensorBoard等工具，都是在這一方向的努力。

為何對于模型的評估信任如此重要？因為我們如果要將模型應用到一些重要行業，如果要基于模型的預測采取行動，或者選擇是否部署新模型，就必須先了解它的預測機制。

畢竟對于用戶來說，如果用戶不信任模型或預測，他們就不會使用它。