解碼狗狗的視覺認知：眼里看到誰并不在乎，它們更關心看到的動作。

過去 15000 年，狗與人類共同進化。現在，狗狗常作為寵物棲息在人類生活環境中。有時狗狗像人一樣在家中觀看視頻，仿佛是看懂了。 ? 那么，狗狗眼里的世界是什么樣子的？ ? 近日，來自埃默里大學的一項研究從狗的大腦中解碼了視覺圖像，首次揭示了狗的大腦如何重建它所看到的東西。這項研究發表在《可視化實驗期刊》上。 ?

論文地址：https://www.jove.com/t/64442/through-dog-s-eyes-fmri-decoding-naturalistic-videos-from-dog ?
研究人員記錄了兩只清醒的、不受約束的狗狗的 fMRI 神經數據，期間讓它們分三次觀看 30 分鐘的視頻，時長總共 90 分鐘。然后他們使用機器學習算法來分析神經數據中的模式。 ? 埃默里大學心理學教授、論文作者之一 Gregory Berns 表示：「我們可以在狗觀看視頻時監控它的大腦活動，并在一定程度上重建它正在看的東西。我們能夠做到這一點是非常了不起的。」 ? Berns 及其同事開創性地將 fMRI 掃描技術用于犬類，并訓練狗狗在測量神經活動時完全靜止且不受約束。十年前，該團隊發布了第一張完全清醒、不受約束的狗的 fMRI 大腦圖像，為 Berns 所說的「The Dog Project」實驗計劃打開了大門。 ?

Berns 和第一只在完全清醒且不受約束的情況下被掃描大腦活動的狗狗 Callie。 ? 多年來，Berns 的實驗室發表了多項關于犬類大腦如何處理視覺、語言、氣味和獎勵（例如接受表揚或食物）的研究。

? 與此同時，機器學習技術不斷進步，使得科學家能夠解碼一些人類大腦的活動模式。然后 Berns 開始思考類似的技術能否應用到狗狗的大腦上。 ? 此次新研究就是基于機器學習和 fMRI 技術完成的。fMRI 是一種神經影像學技術，其原理是利用磁振造影來測量神經元活動引發的血液動力的改變。這種技術是非侵入性的，在腦部功能定位領域具有重要作用。除了人類，該技術只應用于少數其他物種，包括一些靈長類動物。 ? 研究介紹 ? 實驗中用到兩只狗，它證明機器學習、fMRI 等技術可普遍用于犬科動物分析，研究人員也希望這項研究對其他人有所幫助，以便更深入地了解不同動物的思維方式。

? 實驗過程大致如下： ? 實驗參與者：Bhubo，4 歲；Daisy，11 歲。兩只狗之前都參加過幾項 fMRI 訓練（Bhubo：8 項，Daisy：11 項），其中一些涉及觀看投射到屏幕上的視覺刺激。這兩只狗之所以被選中，是因為它們能夠長時間呆在掃描儀內，而不會在主人看不見的情況下隨便移動。 ? 視頻拍攝：以狗的視角拍攝視頻，以捕捉狗生活中的日常場景。這些場景包括散步、喂食、玩耍、與人類互動、狗與狗的互動等。將視頻編輯成 256 個獨特的場景，每個場景都描繪了一個事件，例如狗與人類擁抱、狗奔跑或散步。根據其內容為每個場景分配一個唯一的編號和標簽。然后將這些場景編輯成五個更大的匯編視頻，每個視頻大約 6 分鐘。 ?

實驗設計：首先使用 3T MRI 掃描參與者，同時讓參與者觀看投射到 MRI 孔后部屏幕上的匯編視頻。對于狗來說，通過事先訓練，將它們的頭放在定制的下巴托中，以達到頭部穩定的位置，就像下圖這樣 ?

實驗分三次觀看，每次觀看 30 分鐘的視頻，時長總共 90 分鐘。 ? 實驗過程中，同時使用 fMRI 對狗進行掃描，然后對數據進行分析，實驗用到了 Ivis 機器學習算法，這是一種基于孿生神經網絡 (SNN) 的非線性方法，已在分析高維生物數據上取得成功。此外，實驗中還用到了 scikit-learn、RFC 等機器學習算法。 ?

正在被掃描的 Daisy，耳朵被貼上膠帶，用來固定耳塞，以消除噪音。

該研究比較了人類和狗的大腦工作方式。兩個人類受試者的結果表明，使用神經網絡開發的模型將大腦數據映射到基于對象和基于動作的分類器上的準確率達到了 99%；在解碼狗的大腦模式時，同樣的模型就不適用于對象分類器，而解碼狗的動作分類時，準確率達到了 75% - 88%。這說明人類和狗的大腦工作方式存在重大差異，如下圖人 ( A ) 和*** ) 的實驗結果所示。對此，Berns 總結道：「我們人類非常關心看到的對象，而狗狗似乎不太關心他們看到的是誰或者看到了什么，而更關心動作行為。」

編輯：黃飛