隨著信息技術的發展，在傳統物理鍵盤之外，觸屏、虛擬現實等新型交互接口不斷出現，在提高了交互自然性的同時，卻顯著降低了交互的性能。如何兼顧交互的自然性和高效性，成為人機交互研究中的難題。

在信息技術領域，“胖手指”這一術語專指由于手指本身的柔軟，以及點擊時對于屏幕顯示內容的遮擋，在觸屏上點擊時往往難以精確控制落點位置的問題。隨著信息技術的飛速發展、新型交互方式的不斷涌現，在人機交互研究領域，這類問題日益成為研究的熱點。

近日獲得中國計算機學會（CCF）優秀博士學位論文獎的研究成果中，清華大學博士易鑫試圖以深化的貝葉斯方法解決人機自然交互行為噪聲帶來的意圖推理難題，為解決“胖手指”問題帶來了新的思路。

易鑫的導師——清華大學計算機系教授、全球創新學院院長史元春告訴《中國科學報》：“這算是我們向讓機器理解人類行為邁出的一小步。”

兼顧交互的自然性和高效性

貝葉斯方法也稱為貝葉斯定理，它所呈現的公式可以讓人們通過已知的條件概率（通常是因果方向的）計算未知的概率，因而成為很多進行概率推理的現代人工智能系統的基礎。

而對于易鑫來說，在他以人機交互研究為主題的博士學位論文中，與貝葉斯方法相關的關鍵詞是“文本輸入”。易鑫告訴《中國科學報》：“文本輸入是人機交互中最基本的任務之一，是人向計算機表達交互意圖的重要途徑。”而在進行文本輸入意圖推理時，目前最常用的方法——經典統計解碼方法，其本質也是貝葉斯方法。

隨著信息技術的發展，在傳統物理鍵盤之外，觸屏、虛擬現實等新型交互接口不斷出現，在提高了交互自然性的同時，卻顯著降低了交互的性能。“如何兼顧交互的自然性和高效性，成為人機交互研究中的難題。”易鑫說。

人機交互研究的一大特點是與實際需求或應用場景聯系非常緊密。在數十年以前，人機界面就經歷了從命令行界面到圖形用戶界面的演變。

易鑫介紹說，命令行界面的優點是由于物理鍵盤輸入相對較高的準確率，以及幾乎不需要冗余的操作，所以熟練的用戶可以達到非常高的交互效率。但是，其缺點在于交互非常不直觀，用戶需要記憶大量的指令，有時甚至需要具備計算機領域的專業知識和技能，才能達到較高的使用效率。

為了改進這一問題，研究者提出了圖形用戶界面。圖形用戶界面的一大優勢是擺脫了抽象的命令，顯著降低了用戶的學習和認知成本。然而，由于圖形用戶界面的基本操作是指點，即用戶需要使用鼠標操作屏幕指針來選擇交互目標，因而其往往對用戶指點操作的精度有較高的要求。

易鑫告訴記者，多年來人機界面的發展趨勢是越來越強調交互的自然性，即用戶的交互行為與其生理和認知的習慣相吻合，并隨之出現了觸摸交互界面，以及近年來的體感交互、虛擬現實等三維交互界面。三維交互界面的優勢是進一步提升了人機界面的自然性，但其挑戰則在于完全缺乏觸覺反饋，導致用戶動作行為中的噪聲相對較大，難以進行交互意圖的準確推理，從而限制了交互輸入的準確度。

“此前，也有研究者嘗試采用貝葉斯方法解決文本輸入中兼顧交互的自然性和高效性這一難題，但往往僅考慮了落點位置信息，作用有限。”易鑫告訴記者，為此，他在自己的研究中面向多種輸入接口，從點擊模型精度優化（提升計算精度）、面向不確定性輸入映射的計算方法擴展（擴展計算方法）和文本輸入手部動作建模（擴充先驗知識）等方面優化了文本輸入的基本貝葉斯方法，相應的技術也大幅提高了自然文本輸入的交互性能。

觸屏設備上的模型優化

易鑫在其研究中，針對觸屏軟鍵盤這一文本輸入接口上的胖手指難題，提出了觸屏軟鍵盤上精度優化的點擊模型。

他告訴《中國科學報》，在日常生活中，雖然智能手機、智能手表等觸屏設備正變得越來越普遍，但由于觸摸操作的不準確性，在觸屏上點擊小尺寸目標仍然十分困難。而其不準確性主要來自兩方面原因：一是用戶點擊行為中的噪聲，也常常被稱為“胖手指”問題，二是點擊位置識別算法的誤差。

為了測量用戶在智能手機上觸摸時的落點偏差，易鑫和他的同伴從校園招募了多名被試人員。在實驗中，他們主要關注兩個問題：一是落點偏差是否隨著目標位置的不同而不同，二是拇指和食指兩種點擊姿勢下的偏差模式是否一致。最終，他們發現，在使用食指和拇指點擊時，點擊偏差都會受到目標位置的影響，其中后者受到的影響更為顯著。

基于觸摸落點位置的高精度識別方法，易鑫在論文中進一步建立了接口尺寸與輸入速度、準確率和落點分布的作用關系，提升了軟鍵盤輸入貝葉斯方法中點擊模型與輸入行為的吻合程度，定量描述了當用戶在寬度為2.0到4.0厘米的超小尺寸全鍵盤上進行文本輸入時的行為特征。

用戶實驗結果證明，基于該精度優化的點擊模型的貝葉斯方法能支持用戶在寬度僅為3.5厘米的智能手表全鍵盤上達到與智能手機軟鍵盤相當的、每分鐘35個英文單詞的輸入速度和近100%的準確率。此外，點擊模型的精度優化也能將手機軟鍵盤的文本輸入錯誤率降低23%。

另外，易鑫還在研究中定量分析了點擊模型和語言模型的能力分別對文本輸入的貝葉斯方法識別效果的影響，為點擊模型的精度優化提供了依據和理論指導。

在行為中發現知識

“如果單純就文本輸入問題而言，特別是涉及自然的人機交互方式，易鑫所做的工作在國際上是領先的。”在對易鑫的研究進行評價時，史元春用詞十分嚴謹。

可以作為佐證的成果之一是，易鑫對于空中文本輸入的研究。空中文本輸入對于后桌面時代交互（如虛擬現實、移動手機）是一個有潛力和被期待的交互需求。在這方面，雖然十指盲打是人們在日常生活中最高效和最習慣的輸入方式，但針對基于該能力的空中裸手十指盲打技術的研究，此前尚沒有人取得很好的效果。

而易鑫在研究中提出了一種使得空中裸手十指盲打成為可能的新型技術ATK。結果證明，ATK在輸入速度和準確率方面都超過了已有的空中文本輸入技術，第一次較好地實現了這一已經提出數十年的交互概念。

對于下一步的研究，易鑫的設想之一是，研究貝葉斯方法與大數據機器學習類方法的融合。他表示，雖然貝葉斯方法在目前的研究中取得了不錯的效果，但是其模型的參數還是基于少量（數十人）的樣本訓練而來。隨著原型的迭代和可用數據的增多，大數據機器學習類方法將有機會在意圖推理中發揮重要的作用。然而，為了保持模型的可解釋性與可推廣性，需要探索貝葉斯方法與大數據機器學習類方法的有機融合方法，將“黑盒子”與“白盒子”結合起來，以達到精度和推廣性的同步優化。

史元春告訴記者，與人機交互領域貝葉斯方法的應用相比，機器學習領域的貝葉斯方法主要是在數據中發現知識，而人機交互則是在行為中發現知識。她正主持進行的一項“十三五”國家重點研發計劃中的前沿基礎類研究項目，就是開展人機交互自然性的計算原理的研究，致力于探索使機器可以理解人類表達方式的能力。“易鑫的研究也是我們這項研究中的一部分。”史元春說。