對于許多無法發(fā)出聲音的人來說，他們想說的話會通過某種信號隱藏在大腦中。

人類無法直接破譯這些信號。但是，最近有三個研究小組在“破譯”這種大腦語言密碼上取得了一定進展。

Science雜志最新報道了哥倫比亞大學(xué)（Columbia University）、德國不萊梅大學(xué)（Bremen）和加州大學(xué)舊金山分校的三個研究小組的相關(guān)研究：通過手術(shù)，他們在大腦上放置電極，搜集電極產(chǎn)生的數(shù)據(jù)，再將其通過計算機變成語音信息；接著通過神經(jīng)網(wǎng)絡(luò)模型，他們重建了在某些情況下，可以被人類聽眾所理解的單詞和語句。

通過計算機讓失去語言能力的人表達自己并不罕見，物理學(xué)家斯蒂芬·霍金在世時，就會通過拉緊他的臉頰肌肉，以觸發(fā)安裝在眼鏡上的開關(guān)。對于經(jīng)歷中風或其他疾病失去說話能力的人，他們可以使用他們的眼睛或做出其他小幅動作用來控制光標或選擇屏幕上的字母。

但是，如果腦機接口直接重塑語音，這樣的患者可能會重新獲得更多曾經(jīng)喪失的能力：例如，控制音調(diào)變化，或者介入一個快速的對話。

研究該問題的道路困難重重。哥倫比亞大學(xué)（Columbia University）計算機科學(xué)家Nima Mesgarani說：“我們正試圖找出在不同時間點打開與關(guān)閉神經(jīng)元的模式，并由此推斷語音內(nèi)容。”“神經(jīng)元間的映射并不淺顯直白。”這些信號如何轉(zhuǎn)換為語音聲音因人而異，因此模型必須針對每個人進行獨特“訓(xùn)練”。

這些模型將在非常精確的數(shù)據(jù)上表現(xiàn)最好——而搜集這些精準的數(shù)據(jù)需要打開我們的頭蓋骨。

研究人員只能在極少數(shù)情況下才會進行此類危險性記錄：一種情況是在移除腦腫瘤期間，暴露在外的大腦產(chǎn)生的電讀數(shù)能夠幫助外科醫(yī)生定位以避開關(guān)鍵的語音及運動區(qū)；另一種情況是在手術(shù)前為癲癇患者植入電極并保持數(shù)天以確定癲癇發(fā)作起因。

瑞士日內(nèi)瓦大學(xué)神經(jīng)工程師Stephanie Martin表示說，“我們最多只有20分鐘，最多30分鐘來收集數(shù)據(jù)——真的非常非常受限。”

新論文背后的研究組盡量最大化利用數(shù)據(jù)、將信息提供給神經(jīng)網(wǎng)絡(luò)；神經(jīng)網(wǎng)絡(luò)通過將信息傳遞到計算“節(jié)點”層來處理復(fù)雜的行為模式。網(wǎng)絡(luò)通過調(diào)整節(jié)點之間的連接來學(xué)習。本實驗則使用人類產(chǎn)生或聽到的語音以及與此同時大腦活動的數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

Mesgarani的團隊的研究使用了五名癲癇患者的數(shù)據(jù)。

隨著病人們聽到故事錄音以及0至9數(shù)字錄音，他們的神經(jīng)網(wǎng)絡(luò)同步分析其聽覺皮層（該皮層在語音和聽力過程中都很活躍）活動。隨后計算機僅根據(jù)神經(jīng)數(shù)據(jù)來重新生成數(shù)字。有一組聽眾會在計算機“說出”數(shù)字同時對其進行評估；其精確度大約為75%。

?聲音聽起來有些可怕，

但是仔細聽仍可以辨認出數(shù)字

基于人類聽到口述數(shù)字時腦活動記錄的電腦重建

由德國不萊梅大學(xué)（Bremen）計算機科學(xué)家Tanja Schultz領(lǐng)導(dǎo)的另一個團隊使用了六名接受腦腫瘤手術(shù)的人的數(shù)據(jù)。

他們讓被測試者朗讀單音單詞，用麥克風捕捉他們的聲音。同時，大腦的語音規(guī)劃區(qū)和運動區(qū)產(chǎn)生的電極會被記錄下來（這些電極向聲道發(fā)送命令以清楚地表達單詞）。

現(xiàn)在正與馬斯特里赫特大學(xué)（Maastricht）合作的計算機科學(xué)家Miguel Angrick和Christian Herff訓(xùn)練了一個將電極讀數(shù)映射到錄音然后從以前看不見的大腦數(shù)據(jù)中重建單詞神經(jīng)網(wǎng)絡(luò)。根據(jù)一項計算機評分系統(tǒng)，大約40％的計算機生成單詞是可以理解的。

最后，加州大學(xué)舊金山分校的神經(jīng)外科醫(yī)生Edward Chang和他的團隊根據(jù)由三名癲癇患者大聲朗讀語音引起的、從語言及運動區(qū)域捕獲的大腦活動，重建了整個句子。

在線上測試中，有166人聽懂了其中一個句子，并從10項文字選項中進行選擇。超過80％的情況下模型都能夠正確識別句子。研究人員還進一步改進了模型：他們使用它根據(jù)人類的唇語來重新創(chuàng)建句子。Herff說，這是一項重要的結(jié)果——“離我們所有人都設(shè)想到的‘語言修復(fù)’更近了一步。”

然而，“我們真正想知道的是當患者不能說話時，（這些方法）將能夠如何起作用”，加州圣地亞哥州立大學(xué)研究語言生成的神經(jīng)科學(xué)家Stephanie Riès說。

一個人默默說話或在自己腦中聽到自己聲音時的信號，與真正說話或聽到某些內(nèi)容時產(chǎn)生的信號并不是完全相同的。如果沒有外部聲音來匹配大腦活動，計算機甚至可能連理清內(nèi)部語音開始與結(jié)束位置這種任務(wù)都很難完成。

奧爾巴尼紐約州衛(wèi)生部國家自適應(yīng)神經(jīng)技術(shù)中心的神經(jīng)工程師Gerwin Schalk說，解碼大腦中的演講將需要“科學(xué)大躍進”：“根本不清楚如何做到這一點。”

Herff說，有一種可能的方法，是向大腦-計算機交互界面的用戶提供反饋：如果他們能夠?qū)崟r聽到計算機的語音解釋，他們可能能夠即時調(diào)整他們的想法以獲得理想結(jié)果。

通過對用戶和神經(jīng)網(wǎng)絡(luò)的充分訓(xùn)練，大腦和計算機可能最終能達成一致。