想想這樣一個畫面：在劇院的舞臺上，一名女子坐在一架鋼琴前。

那么她將要：

A）坐在長凳上，同時，她的妹妹在玩洋娃娃；

B）當音樂響起時朝某人微笑；

C）在人群中，看舞者起舞；

D）緊張地把手指放置在琴鍵上；

事實上，作為人類，我們很容易地就能推斷出可能的情況：一個女人在演奏鋼琴，一群人在看著她。我們甚至還能推斷她即將進行的下一步行動：她將自己的手放在鋼琴鍵上，并開始演奏。

這是2018年8月，一家總部位于美國西雅圖的艾倫人工智能研究所（Allen Institute for Artificial Intelligence），在一篇文獻中提到的一道給機器的英語測試題。當時，機器的正確率只有大約60%。

但是現在看來，機器的理解能力正在，或許已經超越人類。

機器理解能力究竟如何？

所謂的機器閱讀理解，其概念和大家學生時代所做的閱讀理解基本相似，同樣是給出一段材料和問題，給出正確答案，不過主角從人類換成AI模型。

雖然機器閱讀理解看起來只是讓AI上陣來一場考試，但是卻是自然語言處理技術中，繼語音判斷、語義理解之后最大的挑戰：讓智能體理解全文語境。

簡單的來看，語音識別幫助機器“聽”，圖像識別幫助機器“看”，但機器如何做到聽懂和看懂，是語義理解解決的問題。

相比于拼寫檢查和自動翻譯，語義理解不只是運算和記錄，而是主動分析和理解，所以閱讀理解問題一直被認為是自然語言處理（NLP）的標志性臨界點。

自然語言處理的其中一個關鍵就是語義理解，因為機器無法做到人類對自然語言的理解，就比如文章開頭的問題。所以，語義理解也一直被認為是“人工智能皇冠上的明珠”，它融合了語言學、計算機科學、人工智能，其目的就是“讓機器可以理解自然語言”。

語義理解也一直是科研和資本關注的重要方向。據2018年年底騰訊研究院統計，在中國人工智能企業中，融資占比排名前三的領域分別是計算機視覺與圖像，自然語言處理，以及自動駕駛/輔助駕駛，而排在第二名的自然語言處理，融資122億元，占比19%。

“就像人去看電視一樣，人是同時看著畫面、聽著聲音、看著字幕來綜合理解，人腦所作的工作就是多模態語義理解。”深思考人工智能CEO兼AI算法科學家楊志明在此前的“2019WISE超級進化者”中提到。

事實上，機器閱讀理解的一些重要賽事和指標也正在被不斷刷新和突破。

2018年，斯坦福大學著名的機器閱讀理解賽事SQuAD，阿里巴巴曾憑借82.440的精準率打破了世界紀錄，超越了人類82.304的平均得分。2018年11月，谷歌發布的BERT模型，在機器閱讀理解頂級水平測試SQuAD1.1中，全部兩個衡量指標上全面超越人類，并且還在11種不同NLP測試中創出最佳成績。

而最近由中國計算機學會（中國計算機領域最權威學會）、中國中文信息學會（人工智能自然語義理解最權威學會）和百度公司聯合舉辦的“2019機器閱讀理解競賽”中，經過全球2502個團隊長達2個月的激烈角逐，深思考人工智能在兩項評測指標中均登頂全球榜首，成功奪取全球冠軍。

目前在很多公開的數據集上，如在英文最具權威的SQuAD2.0數據集中：EM和F1兩個指標上，人類的表現分類為86.831和89.452，而目前PINGAN團隊所研發的模型已取得了EM值88.592，F1值90.859的表現。

換句話說，某種程度上，機器的閱讀理解水平已超越人類。

而在中文最具權威的DuReader數據集中，ROUGE-L和BLEU-4兩個指標上，人類的表現為57.4和56.1，深思考所研發的BMAnet模型在這兩項指標上取得了63.13和59.34的表現。

機器閱讀理解是機器理解的重要任務，也是語義理解的重要組成部分。機器閱讀理解中數據指標的突破，往往也就代表著機器理解或是語義理解的突破。

而深思考所取得的技術性突破，會在現實生活的應用場景中如何落地？

多模態，語義理解的不可或缺

“機器翻譯準確度90%以上，萬字翻譯只需5秒鐘”，或是“語音識別準確度超過98%”，這樣的描述，代表著人工智能正在快速發展，圖像和語音識別的準確率正在飛速提升。

但這距離真正的人工智能，仍然有不小的距離。尤其是在人工智能落地的場景之中，光靠圖像識別的“看到”，和語音識別的“聽到”是不足夠的。

以日常生活中，大家接觸的智能音箱和智能家居為例。

2017年Mingke Luo的《為什么現在的人工智能都像人工智障》曾刷屏朋友圈，而在今年年初，作者又寫了一篇名為《所有智能音箱都是智障，包括Siri ！深度學習對此無能為力》的文章。其中提到一個有趣的實現，2016年底，作者對幾個智能助理提一個看似簡單的需求，“推薦餐廳，不要日本菜”，結果所有智能助理都給出一堆日本菜餐廳的推薦，而2年后，再做這個實驗，問題依然沒有解決，“不要”兩個字仍然被一致忽略。

“人類說話的時候，往往是口語化的、不連續的、支離破碎的，甚至語序顛倒的。語音識別只停留在語音指令，不能理解用戶語言及背后的邏輯，實際無法解決用戶在很多場景中的剛需。”楊志明在采訪中告訴36氪。

他以智能家居的對話場景舉例。

比如用戶對著家里的空調說，“請把空調調到28度”，這時幾乎所有的空調都能夠完成這樣的指令。

但是如果用戶對空調說，“我有點熱了，把空調調低一點，調到我習慣的溫度”，這時候語音識別就不能解決問題。這背后就有兩層邏輯，第一，用戶覺得熱了，應該把空調打開，第二，就是調到用戶平時習慣的溫度，即存在個性化設置，機器需要理解用戶語言背后的意義。

無論車載智能設備，還是智能音響、智能家居，用戶使用這些產品的目的，都是為了更方便的生活，而目前來看，使用這些設備更多是用戶通過“背”指令表完成。

楊志明提到一個形象的比喻，現實生活中，不少企業家和高管，都配備秘書，他們想要的秘書，絕不是一個只能遵從命令辦事的執行員，更多是聽懂他們，只需要一句“你去幫我辦這個事情吧”，就能幫助他們解決問題的角色。有時，甚至是他們不用開口就知道該做什么的可以信任的人。

通過上下文的指代消解、意圖理解、對話管理等技術，深思考推出的產品提升了機器閱讀理解的能力，并為更多行業解決方案的落地，提供有效的產品支持。

以車聯網場景為例，傳統智能車載系統，通常通過駕駛室的智能語音交互屏幕實現人機互動。但隨著座艙的發展，如今的駕駛室不再是一個簡單的駕駛室，而是汽車行駛過程中的中央多模態信息的匯聚地。比如智能車聯網場景下，汽車跟道路基礎設施之間、汽車跟汽車之間、汽車跟互聯網之間都能夠做信息的連接和交互。車輛本身也通過視覺對車外的環境做感知與理解，再加上溫度傳感器、語音信息輸入傳感器等。

在智能車聯網有很多模態的信息，有手勢的模態、語音的模態、圖像的模態。數字化場景下，深思考提供的技術，就能為對上述多模態信息進行綜合理解，為人車交互提供智能大腦。同時，還可以在座艙環境下，實現人、車和家庭的連接。

再加上RPA自動軟件機器人，不光可以實現人車對話，車輛還可以自動幫助駕駛員完成任務，比如預定會議室、與其他智能設備的聯動、執行等。

“比如看一個電視劇，眼睛看畫面、耳朵聽聲音、眼睛看字幕，對不同事物不同狀態，人腦可以同時做理解。但AI還停留在識別與感知階段，人腦更多是語義理解，而且是多模態理解。”楊志明在去年的一次分享中提到，模擬的人腦舉一反三，在目前AI小的計算資源下快速和低功耗的運行，是深思考致力解決的類腦AI技術。

作為人工智能研究中最難的部分，語義理解技術的發展，讓機器有了更強的閱讀理解能力，這也讓未來人機交互有了更多可能性。

未來的可能性

“最新語義理解的技術，可以像人一樣，看完一本書以后，問你這本書里面的問題。它對這本書里面的非結構化的信息進行多模態理解以后，可以像人腦理解以后再回答問題。”楊志明在采訪中提到，人在看完一本書回答問題時，不會先整理出問答對或者知識圖譜，而是憑借大腦的理解，直接回答別人的問題。

目前，深思考所研發的技術已經具備了上述能力。通過非結構化、長文本的機器閱讀理解，避免了傳統語義理解或者智能客服，用大量的人力物力去構建知識圖譜或者問答對。而借此，深思考能讓語義理解，像語音識別和圖像識別一樣，進行大規模的商業化場景的落地。

楊志明解釋，深度學習的快速發展，也為語義理解帶來更多的提升。比如意圖分類等統計學記憶方法的準確不高，深度學習進一步發展，進一步提高了這類語義識別的技術。其次，深度學習之下的新型語義理解模型，讓語義理解準確度變得更高了，實現了突破。

今年6月，工信部正式對國內運營商發放5G牌照，國內的第四大運營商也正式誕生，讓人們看到，無人駕駛和遠程手術的近在咫尺。雖然離大規模商業化應用還有一定時間，但是5G對人工智能帶來的改變也是值得期待的。

《2019年中國人工智能行業市場分析》中提到，國際會計師事務所畢馬威近日發布研究認為，當前，5G技術在主要垂直行業的全球市場潛在價值預計可達4.3萬億美元，而這4.3萬美元的市場，顯然離不開AI的作用。

“更重要的是解決及提升物聯網和AIoT設備語義理解的能力。”楊志明告訴36氪，5G的三大技術特點“高速率、低延遲、超大數量終端”讓物聯網設備大有可為，但離線端語義識別的技術突破，也不可小覷，未來在端的部分，也可能會有語義理解芯片的成功研發。

楊志明舉例，比如在無人駕駛場景中，時常會面對信號弱的情況，例如過山洞、隧道等，同時，雖然5G能夠連接超大數量的終端，但是終端連接的越多，傳輸的速度就越慢，這就需要終端同樣具備部分的語義理解的能力。

未來的場景之中，更多的情況是，終端設備首先具備各項傳感器，能夠多維度的收集信息和數據，同時芯片的植入，又能讓這類設備具有如圖像識別、語音識別、語義理解等人工智能能力，而云端則是更強大和更準確的技術支持。一方面，如果所有終端的處理，都由云完成，云的壓力過大，另一方面終端設備必須具備復合的能力，才能讓機器更好的理解人類意圖。這也印證了，楊志明始終堅持的方向，語義理解一定是多模態的。

同時，產業互聯網的發展，也為人工智能應用的落地，提供了良好的環境，產業互聯網實現的是，不同行業之中的互聯網等技術的落地以及場景閉環，這和人工智能所在做的突破是一樣的。

楊志明此前提到，AI語義理解里面的關鍵點，實現AI的落地場景的四個閉環，包括，業務閉環、數據閉環、模型閉環和產品閉環。目前深思考在智能車聯、醫療健康、智能家居、智能手機等方向，均有頭部客戶實現成功的商業落地。