在機器學習領域里，有個黑匣子，研究員通常不知道模型究竟是如何運行，做出決策的。這也成為了他們一直想要弄明白的課題之一。

當地時間4月14日，非營利組織OpenAI推出了一款名為“顯微鏡”（Microscope）的神經元可視化工具，包含了9個當下流行的神經網絡。正如它的名稱一樣，這套新工具可以像實驗室中的顯微鏡一樣，幫助AI研究人員更好地理解擁有成千上萬神經元的神經網絡結構和行為。

神經元可視化

OpenAI成立于2015年底，是一個非營利的人工智能研究組織，旨在通過促進和發展友好的人工智能，而使人類整體受益，創始人中有硅谷“鋼鐵俠”馬斯克。

OpenAI在自己的官方博客上稱，“顯微鏡”對幾種常見模型里每一個重要層和神經元都做了可視化，對神經網絡的可解釋性進行了研究。“顯微鏡”讓分析這些神經網絡內部特征變得更加容易，也能幫助研究員朝著理解這些復雜系統的發現前進。

神經元可視化圖例

據OpenAI介紹，“顯微鏡”的模型由神經網絡層的“節點”圖組成，這些圖通過“邊”相互連接。每個操作包含數百個“單元”，大致類似于神經元。在機器學習和認知科學領域，神經網絡是一種模仿生物神經網絡結構和功能的數學模型。神經網絡由大量的人工神經元聯結進行計算。我們的神經元可以給一些輸入，然后輸出一個結果，在機器學習中，神經元也起到相同的作用，它是一個數學函數的占位符，它的工作就是對輸入使用一個函數，然后給一個輸出結果。

“顯微鏡”包含的初始模型包括了機器學習領域里重要，且經過廣泛研究的計算機視覺模型。例如，2012年ImageNet挑戰賽冠軍AlexNet， AlexNet在研究中被引用了5萬次以上；還有2014年ImageNet贏家GoogleNet，以及ResNet v2。OpenAI表示每種模型的可視化都帶有一些場景，并且圖像在OpenAI Lucid庫中可用，也可以在Creative Commons授權許可下重復使用。

“我們希望任何想知道神經網絡如何運行的人，都可以使用這個工具。這個工具的主要價值在于可以提供持久的共享成果，從而促進對這些模型的研究。我們還希望有相關專業知識的研究人員，例如神經科學家能夠輕松使用這些模型，同時還能從模型中找到價值。”OpenAI稱。

除了“顯微鏡”的神經元可視化外，近年來，機器學習領域里也有人試圖將機器學習模型的活動可視化。Facebook在去年秋天推出了Captum，使用可視化技術來解釋機器學習模型做出的決策。2019年3月，OpenAI和Google還發布了激活地圖集技術，將機器學習算法做出的決策進行了可視化。