（文章來源：雷鋒網）

如今，對于聽力有障礙的群體來說，聽不到的聲音，可以觸摸到了。“觸摸”聽不到的語言，是由東京大學和索尼計算機科學研究所（CSL）共同研發的 AI 系統“Derma”實現的。有了 Derma 系統，只要在喉嚨周圍的皮膚上貼上傳感器，利用喉嚨和下顎的皮膚震動，就能將口形轉化為語音。

根據病癥的嚴重程度，現階段治療聽力障礙的主流手段包括：藥物治療：通過靜脈點滴或局部滴藥（如激素、抗菌素、抗病毒藥物等）消退炎癥，使聽力盡快恢復；手術治療：主要針對外、中耳畸形、各種壓迫咽鼓管疾病、耳外傷等進行手術；儀器輔助：如助聽器（聽力損失程度≤80dB）、人工耳蝸（聽力損失程度>80dB）。

其中，人工耳蝸植入是當前讓重度、極重度耳聾患者恢復聽力的唯一有效辦法。早在 1957 年，法國科學家首次將電極植入一位全聾病人的耳蝸內，使該患者感知到周圍的環境音。直到上世紀 90 年代，人工耳蝸進入臨床應用階段，給極重度耳聾患者帶來了“新生”。

實際上，人工耳蝸的發展離不開電子技術、計算機技術、語音學、電生理學、材料學、耳顯微外科學的發展。在這些學科興起、發展之前，針對聽力障礙患者，科學家給出的應對措施是一種叫做 Tadoma 的觸診唇讀法。顧名思義，這種療法是指——聽力障礙患者通過用手指觸摸說話者的嘴唇、下巴、脖頸處，讀取說話者想表達的內容。

而上述日本團隊研發 AI 系統 Derma 的靈感，最初正是源于?Tadoma。通過機器學習將?Tadoma?自動化，該團隊的設計其實就是將?Tadoma 療法的過程通過機器學習自動化了。

就其原理而言，如下圖所示，在喉嚨周邊的皮膚上貼上一個加速度/角速度傳感器，獲取無聲發聲時下顎、舌肌運動引起的從下顎到喉嚨的皮膚顫動信息，采用深度學習進行分析識別，最終實現將無聲語音轉換為語音輸入的無聲語音交互（Silent Speech Interaction，SSI）。

該傳感器可獲取 12 維的皮膚運動信息，深度學習可以分析、識別 35 種發聲類型。實驗表明，識別皮膚顫動信息的精準度超過 94％。值得一提的是，研究團隊訓練模型用到了連接時間分類（Connectionist Temporal Classification, CTC）。

實際上，在訓練語音識別器的過程中，受說話者語速等因素影響，將輸入與輸出對齊是一個難點。為解決這一問題，連接時間分類就派上用場了。就其外形而言，與現有的一些無聲語音交互設備相比，這一設備體積小、重量輕、并不顯眼。此外，這一系統耗電量低，不易受到環境亮度等因素的影響，不會影響到佩戴者的正常生活，可以說是非常實用了。

另外研究團隊表示，經轉換后的語音合成不僅可以輸入到具有語音識別功能的數字設備（語音助手），同時也能幫助有語言障礙的患者進行交流。將來，該團隊的研究方向則是可穿戴電子設備和體內嵌入式計算集成。
? ? ?（責任編輯：fqj）