清華大學副校長楊斌與阿里巴巴集團副總裁、首席技術官張建鋒為聯合實驗室揭牌,2018年4月3日，清華大學與阿里巴巴宣布達成戰略合作，共同成立清華大學- 阿里巴巴自然交互體驗聯合實驗室，探索“下一代人機自然交互”的未來。

說起智能機器人，大家或許不會忘記電影《鋼鐵俠》中如真人大管家一樣的賈維斯，或者《超能陸戰隊》中情感豐富的大白。它們都體現了人類對未來人機交互的想象。如今，科幻電影中的場景正加速走入現實。

2018年4月3日，清華大學與阿里巴巴宣布達成戰略合作，共同成立清華大學- 阿里巴巴自然交互體驗聯合實驗室，探索“下一代人機自然交互”的未來。雙方將以“人”為中心，探索“人-機器-環境”之間的關系，讓機器以更自然的方式與人類互動、服務人類。雙方將在情感認知計算、實體交互、多通道感知等領域開展研究，讓機器具備聽覺、視覺、觸覺等“五感”，并理解人類情感，以此推動人機交互變革。

聯合實驗室為校級合作實驗室，依托于清華大學美術學院，共建單位是清華大學未來實驗室。清華大學美術學院魯曉波教授擔任實驗室管委會主任，清華大學美術學院教授徐迎慶為實驗室主任，阿里巴巴人機自然交互實驗室負責人傅利民為聯合主任。

清華大學副校長、教務長楊斌表示，自然交互體驗研究人與機器之間的無縫交流與溝通，賦予機器以智能，使機器成為能理解人類意圖的智能設備，將對人類工作方式及生活方式都產生深遠的影響。清華大學將和阿里巴巴在這一前沿領域深入合作。

阿里巴巴首席技術官張建鋒表示，阿里巴巴希望通過在新零售、智聯網等領域積累的豐富應用場景，結合清華大學在人機自然交互相關領域一流的科研能力，全面升級人機自然交互體驗。

人場互動：重構人和世界的關系

根據國務院發布的《新一代人工智能發展規劃》，在新一代人工智能關鍵共性技術體系中，“人機交互能力”是研發部署的重點之一。伴隨人工智能走出實驗室，深入到新零售、家庭智聯網、自動駕駛等場景，“人機交互”成為人工智能場景落地的關鍵所在。

實驗室聯合負責人、阿里巴巴集團人機交互實驗室負責人傅利民表示：自然交互體驗實驗室將重點解決“人場互動”問題，場即“環境”，在新零售、家庭、車載等諸多場景都涉及到“人-機器- 環境”之間的互動。

聯合實驗室主任清華大學徐迎慶教授表示：實驗室將通過構建情感認知與計算模型等讓機器感知和理解人的情感。另一方面，人與人之間的交流綜合了語音、聽力、嗅覺、觸覺等多種模態，多通道感知技術將為機器構建“五感”，讓人與機器的交流更加自然。

阿里巴巴董事局主席馬云在去年烏鎮互聯網大會上曾表示，“過去30年，我們把人變成了機器，未來30年，我們將把機器變成人，但最終應該讓機器更像機器、人更像人。”人機自然交互是機器主動適應人的一步，將更好地構建人和世界之間的關系。

十問十答看下一代人機交互

1. 這次清華大學與阿里巴巴會涉及到哪些方面的合作？

2018年4月3日, 清華大學與阿里巴巴，共同成立清華大學- 阿里巴巴自然交互體驗聯合實驗室，探索“下一代人機自然交互”的未來。雙方將以“人”為核心，探索“人-機器-環境”之間的關系，讓機器以更自然的方式與人類互動、服務人類。雙方將在情感認知計算、實體交互、多通道感知等領域開展研究，讓機器具備聽覺、視覺、觸覺等“五感”，并識別理解人類情感，以此推動新一輪人機交互變革。

2. 聯合實驗室的建設目標

雙方在下一代人機自然交互領域展開深入合作，打破學科壁壘，開展計算機、工程、藝術、心理學等多層次、大跨度的交叉學科研究，通過數字和智能化，引領人機交互產生變革。

我們相信，人機自然交互的未來，機器將具備多通道感知能力、情感認知能力，也就是說有“五感”（視覺、聽覺、嗅覺、觸覺、味覺）、懂“感情”。這樣，人和機器的溝通，將會像人和人之間的交流那么自然。

我們希望雙方通過產學研實踐，充分結合清華大學的研發優勢、跨學科人才優勢和阿里巴巴的場景優勢，一同去開墾這片處女地，探索人機交互的未來，并以此為依托，在不同產業推動一場交互的變革。

3. 阿里巴巴為何選擇與清華大學開展人機自然交互領域的合作？

阿里巴巴與清華大學有良好的合作基礎。在過去幾年，阿里巴巴已經與清華大學在云計算、大數據、人工智能等眾多領域開展合作，在聯合承擔國家項目、發表高水平的論文、培養高尖端人才上都取得了卓有成效的成果。此次聯合實驗室是對合作領域和合作模式的拓寬，阿里巴巴的業務場景與清華的科研能力相結合，將帶來創新突破。

清華大學在人機自然交互領域擁有跨學科、人才等優勢。清華大學在設計美學和人機交互領域的學術水平全球領先。人機交互是一門交叉學科，其覆蓋的學科范圍非常廣，因此要求研究者具有一系列交叉學科背景：比如能理解用戶感知、認知能力的心理學和認知科學人才；需要能提供技術支撐的計算機科學和工程學背景人才；同時需要美學設計出生的人才。清華擁有雄厚的跨學科人才儲備，包括但不限于計算機、心理學、機械工程、多媒體、音樂、電影等專業背景的師生資源。

此外，聯合實驗室依托清華美術學院，后者擁有國內數一數二的設計團隊；共建單位未來實驗室是清華跨學科交叉的實體機構，更是清華大學科研機制體制改革和探索交叉學科的典范。清華鼓勵跨學科建立研究機構，聯合實驗室將來可以便利地與計算機、心理、工程、材料等其他學科開展合作。

4. 清華為什么選擇與阿里巴巴合作？優勢體現在哪些方面？

科研需要有數據的來源，必須有數據處理的能力，同時需要有現實的系統場景，必須驗證場景閉環。阿里巴巴積累了新零售、智聯網、科技金融等眾多自然人機交互的科研場景。

阿里巴巴已經建有自己的人機自然交互實驗室，清華大學-阿里巴巴自然交互體驗聯合實驗室是阿里巴巴與學術界在全球設立的首個人機交互聯合實驗室，聚焦在情感認知計算、實體交互、多感知通道認知與交互等前沿性、引領性、顛覆性技術領域開展研究。

5. 為什么要做下一代人機自然交互？

人機交互從命令行、圖形界面到觸屏界面，每次都帶來了革命性的變化，越來越人性化。

人機自然交互是指構造一個更便捷、更符合人類自然感知（如觸覺、視覺、聽覺、味覺、嗅覺，乃至內心和大腦活動）交流的智能人機交互系統。新一代人機交互技術，讓計算機不僅“會算”，而且 “能說會看懂情感”，各種交互設備因此變得更加智能 。這種人機交互的新革命，將會給新零售、IoT等場景帶來非常大的想象空間。

2017年的烏鎮大會上，馬云曾說過，“過去30年，我們把人變成了機器，未來30年，我們將把機器變成人，但是最終應該讓機器更像機器、人更像人”。

相信未來，人不用去適應機器，機器會主動適應人，人和機器的交流就像人和人之間交流那么自然。

6. 為什么要更多從“人”的維度進行人機交互研究？具體怎么做？

“自然”是來源于經驗和體驗的，比如同樣你把一個新設計的產品給兩個不同用戶，互聯網上長起來的一代會問“鼠標在哪里”，而移動互聯網上長起來的一代會直接去觸摸屏幕。

自然人機交互作為一門交叉學科，在研究中從計算機科學、工程學角度提供技術支撐，也需要從心理學、認知科學、設計美學角度理解用戶感知、認知能力，因此，單從技術維度進行投入是不夠的，還要加大從人的維度的研究。

在目前人機交互的研究中，在語音識別、語義理解、圖像識別等領域取得了很多突破，但人的語音、語調、表情、動作背后的情感識別是人機交互的難點所在。

聯合實驗室將結合心理模型、情感模型等，讓機器能夠識別和理解人的“喜怒哀樂”與行為意圖。

人與人的交流綜合了視覺、聽覺、觸覺等多種模態，聯合實驗室將通過多通道感知技術幫智能設備構建“五感”，更好地與人類交流。

7. 人機自然交互要解決的核心問題是什么？會放在哪些場景中？

清華-阿里巴巴自然交互體驗實驗室將重點解決“人-場”互動問題，其中“場”即“環境”，包含新零售、家庭、車載等諸多場景。未來機器將不再只是干巴巴地響應命令，而能識別人的喜怒哀樂、上下文情景并進行情感反饋。

試想，當你回到家里，智能音箱將根據你的情緒狀態，播放不同的音樂，或者調整語音語調；智能設備會根據你的身體狀況調整室內溫度、通風、采光。

我們通過人場互動，讓人與機器、與環境之間，實現更加和諧的互動。

8. 目前人機交互領域面臨的挑戰是什么？

（1）交互形式單一，主要是屏幕或TTS(從文本到語音)。主要的人機交互是命令式的，但人與人之間的交流可不是命令式的。計算機對人的識別雖取得了一定進展，但是對人的語音、語調、語氣、表情、行為（body language）里的情感識別、上下文識別（基于情感的上下文識別），以及如何把視覺、聽覺、觸覺、嗅覺等多種交互方式融合到人機交互中，還尚未突破。這是一項綜合系統工程，還有許多未知的“處女地”亟待更深遠的探索。

（2）需要跨學科的深入研究。人機交互是一門交叉學科，覆蓋的學科范圍非常廣，例如圖形、圖像、語音、觸覺、嗅覺、心理學、認知科學、人工智能等，橫跨眾多學科來定義和解決問題將是最大的挑戰。同時，任何學科取得進展都會促進人機交互研究發展，反之也會拖后腿。舉個行業的例子，在 IOT 和新零售背景下，圖形界面已經不能滿足用戶的需求，對于很多沒有屏的場景，需要開發新的技術，更深地理解和使用視覺、聽覺、觸覺、嗅覺等感官做人機交互，而這樣的研究需要跨學科的深入合作。

9. 聯合實驗室未來將集中在哪些研究方向，時間表是什么？

（1）短期看來，會在以下方向上發力：

人場交互：“場”，即人所處的環境。在新零售、家庭、車載等諸多場景都涉及到“人- 機器- 環境”之間的互動。未來在這些場景中，機器將不再只是干巴巴地響應命令，而是識別人的喜怒哀樂、上下文情景，并進行情感反饋：例如，當你回到家里，智能設備會根據你的身體狀況調整室內溫度、通風、采光。

試想想，生活中無處不在的各種“死”的“場”，比如家、公司、商場等，它們都“活”了，變成了能和人類實時交互的界面。

情感認知計算

情感是人們交流和獲取信息的主要方式，有研究表明，人類交流中90%以上的信息都是非文字的信息。因此，情感計算是實現人性化的下一代人機交互過程中必不可少的部分，情感識別、理解、和表達技術也是人機交互的基礎性技術之一。

舉個例子：天貓精靈將根據你的情緒狀態，播放不同的音樂，或者調整語音語調。機器更懂人，才能更好的服務人類。

（2）長期來看，阿里巴巴希望在下一代人機交互領域開展什么研究

多通道人機自然交互

人在交流中，可以隨意在多種感官中切換，可以同時利用多個通道獲取和表達信息，并且用注意力來選擇和優化通道資源。通過對人多通道交流的研究，可以指導和實現和計算機和人之間的多通道交互。

觸覺，嗅覺的數字化

人的視覺數字化帶來了整個行業的質變，也是目前圖形用戶界面的發展基礎，我們希望觸覺和嗅覺的數字化會帶來另一次變革。從電子購物上，可以解決用戶摸不到，聞不到兩點痛點。

另外，我們今年在加拿大舉行的 CHI 2018 國際會議上，也做了一個人機自然交互的興趣小組，除了阿里，和清華，也請了斯坦福的 James Landy 教授，密西根大學的 Michael Nebeling 教授一同參與，在行業里共同探討下一代人機自然交互的發展方向。

10.未來實驗室的研究成果會應用在哪些現實場景當中？

人機交互從命令行機器語言，圖形界面，觸屏界面，每次都帶來了革命性的變化，越來越人性化。現在，人工智能等技術開始進入線下場景，人 - 機器- 環境之間的互動越來越重要，在新零售、IoT、車載場景、家居場景上都會帶來革命，無論是用戶體驗、還是產業化空間上，都帶來非常大的機會。

比如：家庭場景中，機器人與你對話，也不再是干巴巴的語調，而是可以基于你的情緒、上下文，來富有感情的回答；車載場景中，人對視覺警告的反應速度是1.25秒左右，而對觸覺的反應速度只有0.25秒，那引入觸覺交互（例如方向盤震動），在關鍵時刻，就可能會節省你1秒鐘的時間，這一秒鐘甚至可能會挽救生命。