隨著AI應用的場景越來越豐富，加上數據量小、任務復雜等種種實踐中可能出現的挑戰，有時機器學習的結果并不理想，而且效率低下。而我們人類擁有豐富的專業經驗，為什么不向機器傳授一些小訣竅呢？為此，微軟研究院推出了一種輔助方法——“機器教學”（Machine Teaching），人類可以利用自己的專業知識和經驗幫助AI進行更有針對性的學習，幫助強化學習算法更快地找到解決方案。本文編譯自微軟人工智能博客“Machine teaching: How people’s expertise makes AI even more powerful”。

微軟商業人工智能事業部總經理、Bonsai公司前首席執行官Mark Hammond

用人類的知識幫助機器學習

我們今天的機器學習過程，某種程度上就像把一根球棒和一只棒球交給五歲小朋友，向他展示球棒和棒球之間無數種使用方法，然后期望他自己體會出打棒球的正確方式——我們向機器展示海量的數據，希望它能自己找到其中的關聯和模式。這對簡單的文本、圖像識別等常見的AI技術來說非常有效，但隨著AI應用的領域和場景越來越豐富，有時機器自主學習的效果并不理想，而且效率低下，特別是在訓練數據過少的情況下。

“面對人類，我們可能會非常自然地想到，教小朋友打棒球要從最簡單的開始，慢慢過渡到快球；但當我們面對機器的時候，大家都想直接給系統上快球。事實上，機器學習除了自行從數據中摸索知識，更可以從經驗豐富的人類這里獲取相關的知識。” 微軟商業人工智能事業部總經理Mark Hammond說。為此，微軟研究院開發了一種輔助方法——“機器教學”（Machine Teaching），人類可以利用自己的專業知識和經驗幫助AI將復雜問題分解成比較簡單的任務，并為機器學習模型提供相關的重要線索，幫助強化學習算法更好地找到解決方案。

如果你要教一位小朋友識別桌子，你會先告訴他：“它有四條腿和一個平面”。如果他把椅子也當成了桌子，你就會進一步向他解釋：“椅子有靠背，但桌子沒有靠背”。這一抽象的反饋的循環是人類學習方式的關鍵，而它也能使傳統的機器學習方法變得更強大。

機器教學能在許多場景中發揮出格外的優勢。在有監督學習中，如果某個特定行業或公司的需求過于具體，導致訓練數據非常少，機器教學將非常有用。而在復雜的強化學習場景中，算法可能很難從數百萬種可能中做出選擇，這時，如果擁有某方面專業知識的人類提供一些幫助，機器就能大大縮短尋找解決方案的時間。

這也是微軟提出機器教學的長遠目標之一。我們希望為來自各行各業的人們提供人工智能平臺，讓律師、會計師、工程師、護士等不同領域的專家即使具備很少的AI專業知識，也能將所在領域的專業知識傳授給智能系統，讓智能系統更有效地助力問題的解決。

“即使是最聰明的AI，也要經過很多學習才能完成現實世界中的復雜任務。因此AI需要在人們的引導下學習，這也讓更廣泛的用戶能借助機器學習來完成復雜的任務，這是機器教學的意義所在。” 微軟商業人工智能事業部副總裁Gurdeep Pall表示。

微軟機器教學組對機器教學原理的探索已將近十年，目前他們正在將這些概念融入微軟的各大產品，以幫助企業構建定制化的智能系統與工具。“如果你可以向他人傳授某些知識，你也能用相似的方法把它們傳授給機器。”微軟杰出工程師、機器教學項目發起者Patrice Simard說，他的團隊將加入微軟體驗與設備組，將機器教學與微軟的對話式AI產品進一步整合。

微軟研究員Patrice Simard，Alicia Edelman Pelton和Riham Mansour（從左至右）正在將機器教學融入微軟產品中

機器教學的應用潛力

Simard開始思考新的AI系統范式，是因為他注意到機器學習會議上的許多工作都在通過精妙的基準測試來提高算法性能。這讓他意識到“教授”知識對機器學習的重要性，特別是在數據有限的情況下。

機器教學要通過識別高層級、有意義的特征來改進模型。比如，你想讓AI選出質量最好的汽車，卻只有很少的標注數據，AI提取出的“好車”的特征可能會非常不靠譜，比如“車牌第四位是2”。但如果提示AI對油耗、安全評級、碰撞測試、價格等標準進行綜合考量，盡管數據仍然有限，AI對汽車質量的評估將有效許多。

除此之外，機器教學的另一個目的是把復雜任務分解為多個更簡單的任務。如果沒有高層級特征，則可用包含較低層級特征、簡單到只需少量案例就能學習的子模型來構建。如果系統多次出現同樣的錯誤，則可以通過添加特征或案例的方式來消除。

Azure認知服務中的語言理解API是機器教學理念應用的首批產品之一，它能夠幫助用戶 “理解” 短文本中的意圖和關鍵概念，目前已被UPS快遞、Progressive Insurance和西班牙電信等企業用于開發智能客服機器人。使用機器教學的方法，人們將無需為客服機器人準備包含所有用戶問題的數據集，只需提供四五個問題案例和該領域的重要特征、關鍵字，語言理解API就可以順利完成剩余的工作。

機器教學流程圖

再舉個例子，一家公司想用AI掃描過去一年的所有文件和電子郵件，了解銷售一共發出了多少次報價，又有多少次成功完成了銷售。AI首先要知道怎樣從合同或發票中識別報價，而問題在于沒有現成的訓練數據，而且每名銷售人員的開單據的方式可能都有所差別。

這時，如果采用傳統的機器學習方法，這家公司就要經歷漫長繁復的人工標記數據流程，再請一位機器學習專家來構建機器學習模型。而一旦銷售人員改變了單據格式，模型就會無法識別。

而如果采用機器教學的模式，企業內部的專業人員將為報價常見的特征和結構提供線索，如客戶名、“報價單”、“交貨日期”、“產品”、“數量”、“付款條款”等關鍵詞。系統會將這些專業知識轉化為機器可理解的語言來執行預先選擇的機器學習算法。這樣，利用組織內已有的專業知識，就能在很短的時間內為企業構建定制化的AI解決方案。

微軟研究人員正在探索如何將機器教學應用于更復雜的任務題，比如對更長的文檔、電子郵件和圖像進行分類；以及如何讓“教學”的過程更直觀，比如向用戶呈現可能有意義的特征建議。

微軟商業人工智能事業部副總裁Gurdeep Pall講解基于機器教學的自主系統解決方案

將機器教學與深度強化學習融合

十余年前，當Hammond在耶魯大學神經科學實驗室擔任系統程序員時，他注意到了科學家一步步訓練動物完成研究任務的過程。他由此想到，我們人類擁有豐富的專業經驗，為什么不向機器傳授一些小訣竅呢？

因此他創辦了Bonsai公司，將機器教學與深度強化學習融合，幫助企業在機器人、制造、能源、建筑管理等領域開發自主系統。微軟在去年將Bonsai公司納入麾下。

深度強化學習模型通過基于激勵機制的反復試錯進行學習，目前在電子游戲中已經能夠打敗人類。Hammond認為，對于現實世界中更為復雜的應用問題，深度強化學習還有很長的路要走，而機器教學方法與深度強化學習的結合則可以大大提高解決問題的效率。

開發者和其他領域的專業人士可以用Bonsai定制的編程語言Inkling將自己的專業知識“傳授”給AI，就像編寫課件一樣。通過對這些關鍵知識的學習，Bonsai系統能更快地選出最好的強化學習模型，并在模擬環境中測試不同的操作，給出效果最優的解決方案，從而避免許多耗時的無效探索。

在Hammond看來，人們從一開始就應該告訴AI應該著重關注哪些要點，“如果只用強化學習，不向它提供任何對解決問題有幫助的信息，它就會像無頭蒼蠅一樣隨意探索，很難發現行之有效的解決方案。所以機器教學非常重要，它能夠讓問題真正得以解決。”