想要理解 AI 欠缺什么，最好的辦法是描述一個需要將各種人類習以為常的認知能力結合在一起的場景，通過分析人類的行為反應，來對比發掘，AI和人類的差距。

想象一下你和你的朋友剛買了一個復雜的新棋類游戲，有一塊精致的板子和各種各樣的棋子、卡片以及復雜的規則，沒有人知道怎么玩它，但是在讀完說明書之后你們開始游戲。有些人可能會犯一些錯誤，但幾輪下來，每個人都學會了游戲規則，至少可以嘗試贏得比賽。

在學習這個游戲的過程中發生了什么？

1.語言解析：讀游戲規則的玩家必須將符號轉換成口語。聽游戲規則的玩家必須分析口語。

2.模式識別：玩家必須把所朗讀的單詞和游戲中的物體連接起來。如果該說明書有插圖，那么它們必須與現實中的物體相匹配。在游戲中，玩家必須識別出旗子和卡片的錯綜組合，以及事件發生的關鍵序列。優秀的玩家還會學習去識別其他玩家的游戲模式，從而有效建立起有關他人心理狀態的模型。

3.運動控制：玩家必須能夠將棋子和卡片移動到棋盤上的正確位置。

4.規則遵守與規則推斷：玩家必須理解規則并檢查規則是否得到了正確的應用。在掌握了基本的規則之后，優秀的玩家還應該能夠發現更高級別的規則或有助于他們取得勝利的傾向。這種推論能力與塑造他人思維模型的能力密切相關。（這在心理學中被稱為心智理論，theory of mind）。

5.社交禮儀：玩家之間是朋友伙伴的關系，即使有些玩家犯了錯誤或擾亂了游戲進程，也應當友好相處。

6.處理干擾：如果門鈴響了，外賣到了，玩家們必須能夠從比賽中抽身，與送貨人打交道，然后再投入到比賽中，回憶起游戲的進展，譬如輪到誰了。

在所有這些子問題中，AI 在部分環節的處理上取得了一些進展。在某些特定領域，雖然也有各種各樣識別失敗的情況發生，但人工智能的模式識別水平已經優于人類。

不過，人工智能方法識別物體和序列的能力還不如人類模式識別那樣優秀。具體表現為，人類有能力創造出不變性表示。例如，即使視角不同、存在遮擋物、光照條件變幻莫測，人類仍然能夠識別出特定的視覺模式（比如可以在黑暗里憑借眼睛認出一只貓，看到被建筑物遮擋到只剩一個尾燈的車，仍然能自動識別出車在建筑物后的位置）。我們的聽覺模式識別技能或許更加出彩，能夠在噪音干擾以及速度、音高、音色和節奏的起伏中識別出樂句。現階段的人工智能正在這一領域取得穩步進展。

對于人工智能來說，更為嚴重的問題是，隨著單個領域識別能力的不斷進步，自己將已習得的表示在新環境中泛化（generalize）的能力是否也會隨之提高，也就是說人工智能是否能做到像生物智能那樣輕易實現大規模能力整合。

現有的人工智能游戲玩家都無法解析這樣一句話：「這個游戲就像太空版的《卡坦島》（This game is like Settlers of Catan, but in Space）」。語言解析可能是人工智能最為棘手的部分。人類可以使用語言獲取新信息和新技能，部分原因是我們擁有關于世界的豐富的背景知識。此外，我們可以利用上下文來十分靈活地運用這些背景知識，因此我們可以辨別出內容之間相關與否。

一個常見的能力集成方面的挑戰是符號接地問題（symbol grounding problem）。即符號系統（例如數學符號或語言中的詞）如何與感知現象——視覺、聲音、紋理等相連接。

粗略地說，人工智能方法分為兩類：符號化（symbolic）和亞符號化（sub-symbolic）。符號化方法被用于「經典的」或「傳統的」人工智能。它們非常適用于基于規則的確定性場景，比如下棋（但通常我們必須預先編碼好規則）。如果人類提前做了符號接地（symbol-grounding），符號處理過程就會很輕松。如果讓人工智能直接處理「原始」輸入信息，比如光、聲音、紋理和壓力這些數據，效果就沒那么好了。

在另一個極端，我們有亞符號方法，如神經網絡（深度學習網絡是其中的一種）。這些方法接收原始輸入信息的數字化版本——像素、聲音文件等作為輸入。亞符號方法適用于許多形式的模式識別和分類問題，但是我們仍然沒有可以從類別標簽轉換到基于規則進行操縱的符號系統的可靠方法。

綜上所述，當代的人工智能和機器學習方法可以處理需要單一能力的問題（當然，處理效果各不相同），但整合這些能力，與現實世界進行實時的交互，卻仍然是個遠大的目標，需要工程師們繼續努力。