據悉，Apple近期發表了有關于Ferret-UI AI系統的研究論文，這款新型AI系統可理解應用程序屏幕上的內容。

目前圍繞人工智能（AI）技術，出現了如ChatGPT這樣的大語言模型（LLMs），這些模型擅長處理文本資料。然而，對于像圖片、視頻和聲音等多媒體類型的非文本n內容，就需要擴大AI模型的適用范圍，相應地，多模態大語言模型（MLLMs）也就應運而生。

盡管MLLMs已表現出對移動應用程序的理解不足，具體表現在以下幾點：

首先，智能手機屏幕的寬高比和大多數訓練視覺模型所使用的比例不同；其次，MLLMs需要識別出較小的圖標和按鈕。

針對以上問題，Apple提出了名為“Ferret-UI”的MLLM系統，以應對這些挑戰。系統通過引入WMDR（任意分辨率），提升模型在處理用戶界面任務時的辨識度，使其能更好地識別和理解小圖標、文字等元素。

此外，我們專門采集了大量與初級用戶界面任務相關的樣本，包括圖標識別、文本查找和小部件列表等。所有樣本均按照區域注釋指令進行設計，以便于精確解釋和實用化。

為了提高模型的認知水平，我們進一步定制了高級任務數據集，含括詳細描寫、感官/互交互對話及功能推理等方面。

該項研究表明，與現行的GPT-4V以及其他MLLMs模型相比，Ferret-UI AI模型具有顯著優勢。

審核編輯 黃宇