利用 AI 技術判斷一個人的情緒通常有兩種途徑，一種是通過面部表情，另一種是通過語音。前者已經比較成熟，而語音識別情感方面的研究，正在快速發展。近期，一些科研團隊提出了新的方法，來更準確地識別用戶聲音中的情緒。

知乎上有很多關于「如何判斷女朋友是否生氣」之類的問題，有人回答：字越少，事越大；還有人說：真生氣，一個月不聯系；假生氣，會撒嬌說「我生氣了」。

「女朋友是生氣了么？」是千古難題

所以，女朋友的「我沒生氣/真的沒生氣」=「很生氣」；「我生氣了」=「撒嬌，沒生氣，親親抱抱舉高高嘛」。這樣的情緒邏輯讓直男們抓狂。

女朋友的情緒根本就感受不出來啊

究竟應該怎么樣才能聽出女朋友到底生氣了沒呢？據說，AI 已經在聽音識情緒上做出成績，可能比男生抓耳撓腮地琢磨半天的結果更準確。

Alexa 語音助手：正在修煉成為暖男

亞馬遜語音助手Alexa 在感知情緒方面，可能比男朋友還機智。

今年，經過最新升級后，Alexa 已經能夠通過分析用戶指令的高低和音量等反應，識別出快樂、高興、憤怒、悲傷、煩躁、恐懼、厭惡、厭倦甚至壓力等情緒，并對相應指令做出回應。

比如，如果一個女生一邊擤鼻涕一邊咳嗽一邊又跟 Alexa 說自己有點餓了，那么 Alexa 就會通過對女生說話的的音調（虛弱、低沉）和背景音（咳嗽、擤鼻涕）分析出她很可能得病了，然后發出來自機器的貼心關懷：要不要來碗雞湯，或者叫個外賣？甚至直接線上訂購一瓶止咳糖漿一小時內送貨上門？

這表現，是不是比鋼鐵直男男朋友還貼心？

人工智能做情緒分類已不是什么新鮮事了，不過，最近，亞馬遜 Alexa Speech 團隊前段時間打破了傳統方法，發表了新的研究成果。

傳統的方法都是有監督的，其獲取的訓練數據已經根據說話者的情緒狀態被標記過。而亞馬遜 Alexa Speech 團隊的科學家最近采用了一種不同的方法，他們在國際聲學，語音和信號處理會議（ICASSP）上發表了介紹這種方法的論文《Improving Emotion Classification through Variational Inference of Latent Variables》（http://t.cn/Ai0se57g）

他們沒有采用詳盡注釋過「情感」的語料庫來訓練系統，而是提供了一個對抗自編碼器（AAE）。這是一個包含來自 10 個不同發言者的 10,000 個話語的公開數據集。

他們得到的研究結果是，在判斷人們的聲音中的效價（emotion valence）或情感價值（emotional value）時，神經網絡的準確度提高了 4％。在團隊的努力下，通過用戶聲音，便能可靠地確定用戶的心情或情緒狀態。

AAE 模型原理示意圖

論文的共同作者，Alexa Speech 組高級應用科學家 Viktor Rozgic 解釋道，對抗自編碼器是包含編碼器的兩部分模型——編碼器（encoder）和解碼器（decoder）。編碼器學習生成輸入語音的緊湊（或潛在）表示，編碼訓練示例的所有屬性；而解碼器重建來自緊湊表示的輸入。

對抗自編碼器的架構

研究人員的情緒表征由三個網絡節點組成，三個網絡節點分別用于三種情緒測量：效價，激活（activation，說話者是警覺的，投入的還是被動的），以及支配（說話者是否感覺被周邊局面控制）。

訓練分三個階段進行。第一階段使用無標簽的數據單獨訓練編碼器和解碼器。第二階段為對抗訓練，對抗性鑒別器試圖區分編碼器產生的真實表示與人工表示的技術，該階段用于調整編碼器。在第三階段，調整編碼器以確保潛在情緒表示，來預測訓練數據的情緒標簽。

為了捕獲有關語音信號的信息，在涉及句子級特征表示的「hand-engineered」實驗中，他們的 AI 系統在評估效價方面比傳統訓練網絡的準確度提高了 3％。

此外，他們表示，當向網絡提供一組表示 20 毫秒幀(或音頻片段)聲學特性的序列時，效果提高了 4%。

MIT 實驗室打造神經網絡1.2 秒感知憤怒

亞馬遜不是唯一一家研究改進的基于語音的情緒檢測的公司。麻省理工學院媒體實驗室 Affectiva 最近演示了一個神經網絡 SoundNet：可以在短短 1.2 秒內（已經超越人類感知憤怒所需時間）將憤怒與音頻數據分類，并且無論哪種語言。

Affectiva 的研究人員在新論文《Transfer Learning From Sound Representations For Anger Detection in Speech》（https://arxiv.org/pdf/1902.02120.pdf）中描述了該系統。它建立在語音和面部數據打造情感檔案的基礎上。

為了測試 AI 模型的通用性，該團隊使用以英文訓練的模型，對普通話語音情感數據訓練的模型（普通話情感語料庫，簡稱MASC）進行了評估。結果它不僅可以很好地推廣到英語語音數據，對漢語數據也很有效，盡管性能略有下降。

針對英文與中文的訓練結果 ROC 曲線

虛線表示隨機分類器的 ROC

團隊表示，「識別憤怒應用廣泛，包括會話界面和社交機器人，交互式語音應答（IVR）系統，市場研究，客戶代理評估和培訓，以及虛擬現實和增強現實。」

未來的工作將開發其他大型公共語料庫，并為相關的基于語音的任務訓練 AI 系統，例如識別其他類型的情緒和情感狀態。

以色列 App 識別情緒：準確率 80%

以色列創業公司 Beyond Verbal 開發了一款名為 Moodies 的應用，它能夠通過麥克風采集說話者的聲音，經過 20 秒左右的分析，判斷說話者的情緒特征。

Moodies 擁有一套特殊的算法，軟件會對說話者的

節奏、時間、聲音大小、停頓以及能量等情緒維度進行分析

盡管語音分析專家承認語言與情緒具有相關性，但不少專家卻質疑這種實時測算的準確性——這類工具收集到的聲音樣本非常有限，實際的分析可能需要收集數年的樣本。

「以目前認知神經學的水平，我們根本沒有技術真正地了解一個人的思想或者情感。」哥倫比亞大學心理學教授助理 Andrew Baron 說道。

不過 Beyond Verbal 負責市場的副總裁 Dan Emodi 表示，Moodies 經過了三年多的研究，根據用戶的反饋，應用分析的準確率約為 80%。

Beyond Verbal 公司表示，Moodies 可以應用于自我情緒診斷、客服中心處理顧客關系甚至檢測求職者是否說謊，當然你也可以帶到約會的場景中，看對方是否真的對自己感興趣。

語音情緒識別依然面臨挑戰

雖然很多科技公司已經在這方面有著多年的研究，也得到不錯的成果。但是，正如上文 Andrew Baron 所質疑的，這項技術還面臨多個挑戰。

就像女朋友一句平靜的「我沒生氣」并不代表她真的沒生氣一樣，一個發音中可以包含多種感情，不同情感的邊界也難以界定，哪個情緒是當前主導的情緒？

國內某語音情緒識別產品展示

并不是所有的語氣都像視頻中這樣明顯與激烈，表達情感是一個個性化極強的事情，根據個人，環境甚至文化差異都很大。

此外，一種情緒可能持續很長時間，但期間也會有快速變化的情緒，情感識別系統是檢測長期的情緒還是短時的情緒呢？比如某人限于失業的痛苦中，但期間因為朋友的關心短暫開心了一下，但實際上他仍處于傷心狀態，AI 該怎么定義他的狀態呢？

而另一個令人擔心的事是，當這些產品能夠聽懂人的情緒后，是否會因為用戶對它的依賴，而詢問更多隱私性的問題，獲取用戶多方面信息，從而將「服務」變成「買賣」？

愿你會擁有大白，也擁有真正懂你的人

很多人都想擁有一個溫暖又貼心的大白，這個在科幻動畫里才有的高情商機器人，未來是否會成真呢？

非常低落而緩慢地跟小冰說話得到無情回答

目前，很多聊天機器人依然沒有情商，無法感知用戶的小情緒，常常把天聊死。所以，真正能夠聽懂你的，依然是陪伴在你身邊傾聽你的人。