麻省理工學院媒體實驗室的研究者們已經開發了一種機器學習模型，這種模型讓電腦更加像人一樣解譯我們的情感。

在“情感計算”這個新興領域，人們開發可以分析面部表情的機器人和計算機，讓它們解譯我們的情感并根據解譯結果做出回應。其應用包括管理個人健康、保證學生在課堂上的興趣、幫助診斷一些疾病以及開發有用的機器人伙伴。

然而這項技術面臨的一大挑戰是，不同的人表達情感的方式非常不同，這一不同依賴于許多因素。一些普適的差異包括不同文化、性別、年齡組之間的差異。但是此外還存在一些更精細的差異：每天中的不同時刻、睡眠狀況、甚至對談話對象的熟悉程度等都會導致你情感表達的差異。

人們的大腦天生就可以處理這些偏差，但這對機器來說很難。深度學習技術在近些年來幫助機器捕捉這些偏差，但這還無法精確到或能夠適應不同的人群需求。

麻省理工學院媒體實驗室的研究人員們開發了一種新的機器學習模型，這個模型通過幾千個面部圖像學習，獲得了比傳統模型更能捕捉到細微的面部表情變化的能力，可以更好衡量人們的情感。此外，通過使用一些額外的訓練數據，模型還可以適應一個全新的人群，并達到同樣的效果。這項研究的目標是提高現有的情感計算技術。

“這是一種隱蔽的管理情感方式，”麻省理工學院媒體實驗室研究者及這篇文章的共作者 Oggi Rudovic 表示，“如果你想讓機器人擁有社交智能，你必須讓它們能夠聰明而自然地對我們的情感作出回應，更加像人類一樣。”Oggi Rudovic 在上周的機器學習和數據挖掘大會上進行了展示。

個性化專家

傳統情感計算模型通常想找到一個“通解”。他們通過對一系列描述不同面部表情的圖像訓練來優化特征——如當笑的時候嘴唇是如何卷曲的——并將這些普適的優化標記在整個新圖像數據集中。

而本次研究的科學家將個性化模型技術與“多專家模型（MoE)”技術結合，幫助挖掘細粒度的個人面部表情數據。Rudovic 說，這是首次將這兩種技術結合并用于情感計算。

在多專家模型中，一系列神經網絡模型被稱為“專家”，每一個“專家”用于專門訓練一個分開的任務并生成一個輸出結果。研究人員結合了門控網絡，這一網絡可以計算每個專家成功解譯未見過的新情緒的概率。“基本上，網絡可以區別個體的差異并指出‘在這張圖中這個專家的結果是正確的’。”Feffer 說。

對他們的模型來說，研究人員通過將每個專家與 RECOLA 數據集中 18 個個人視頻記錄進行匹配。RECOLA 數據集是一個公開數據庫，供人們在為情感計算設計的應用平臺上通過視頻聊天交流。他們采用了 9 個主題訓練模型，而通過另外 9 個主題來評估訓練結果。所有的視頻都被剪輯成獨立的小部分。

每一個專家和門控網絡都可以通過一種叫 ResNet 的分類神經網絡幫助追溯到每個個體的面部表情。在這個過程中，模型基于數值的高低（如高興或不高興）和喚醒程度（如興奮）為每一個框架打分。通常使用矩陣為這些不同的情感狀態進行編碼。同時，6 個人類專家標記每一個框架的數值和喚醒度，用來訓練這些模型。

研究人員進一步對模型個性化，他們將一些剩下的視頻作為訓練模型數據，用另一些機器未見過的視頻對模型測試。結果顯示，在含有 5%-10% 新人群類型的數據中，該模型比傳統模型表現有很大改觀，這意味著模型的數值和喚醒度數據更接近人類專家的評分。

更好的人機交互

另一個目標是訓練模型幫助計算機和機器人自動學習數據中的微小變化，以用于更自然的檢測我們的感覺并更好的服務人類需要。研究者說。

例如，這個模型可以在電腦或移動設備上運行并追溯用戶的視頻對話，以學習其在不同環境中的細微面部表情變化。“你可以使用能識別人們感情的智能手機 app 或網站，它們將向你推薦如何應付這些壓力，或其他對生活有負面影響的事。”Feffer 說。

該模型也可以幫助人們管理壓力等負面情緒，這些情緒中的人們面部表情會有一些微妙的變化。“通過管理我們面部表情中的負面情緒，”Rudovic 說，“我們可以個性化這些模型并管理人們每天的數據與平均數據之間的變化，并進一步用作健康指標。”