本文簡要介紹 2018 年 5 月被 TMM 錄用論文“ Track，Attend and Parse （TAP）： An End-to-end Framework for Online Handwritten Mathematical Expression Recognition” 的主要工作 。該論文是 2017 年發表在 ICDAR 上的文章 ［1］ 的升級版，主要解決了在線手寫數學公式的識別問題。

該論文中介紹的方法獲得了國際最大在線手寫數學公式比賽 CROHME2019 的冠軍，且是在未使用額外數據的情況下超過了有大量額外數據的國際企業參賽隊伍，如 MyScript ， Wiris ， MathType 等，突出了該算法較傳統數學公式識別算法的優勢。

一、研究背景

手寫數學公式識別較傳統 OCR 問題而言，是一個更復雜的二維手寫識別問題，其內部復雜的二維空間結構使得其很難被解析，傳統方法的識別效果不佳。隨著深度學習在各領域的成功應用，文章 ［2］ ［3］ 首次提出了基于深度學習的端到端離線數學公式算法，并在公開數據集上較傳統方法獲得了顯著提升，開辟了全新的數學公式識別框架。然而在線手寫數學公式識別框架還未被提出，論文 TAP 則是首個基于深度學習的端到端在線手寫數學公式識別模型，且針對數學公式識別的任務特性提出了多種優化。

二、TAP原理簡述

Fig.1. Overall archi tecture

Fig 1 是 TAP 的整體結構。 TAP 遵循文章 ［2］ ［3］ 中的做法，將數學公式的樹結構識別問題轉換成了數學公式 LaTeX 字符串識別問題。這一思路的轉換簡化了數學公式識別問題，使端到端的識別成為了可能。 TAP 的基本框架為基于注意力機制的編解碼模型，也稱 Encoder-Decoder 模型 ［4］ ，其將輸入的軌跡點序列通過 Encoder 編碼得到高維特征表達，依靠 Attention 機制找出高維特征中的關鍵部分以用于解碼出當前時刻的 LaTeX 字符，直至解碼結束。

TAP 延續了會議文章 ［1］ 中的 Encoder 框架，在 Attention 機制上針對在線手寫公式識別提出了 Spatial Attention， Temporal Attention， Attention Guider 用于改善 Attention 的對齊以及 Decoder 的解碼能力。文章中還利用了在線與離線兩個模態之間的互補性進一步提升了手寫識別性能。

Fig.2. Architecture of the hybridattention model

Fig 2 是 TAP 所采用的H ybrid Attention 機制，除了常用的S patial Attention 外，還采用了T emporal Attention 機制。其中，S patial Attention 利用了A ttention 的歷史信息以解決數學公式中多個同樣數學字符出現時的對齊混淆問題。

而T emporal Attention 用于處理 LaTeX 中的結構字符的特殊對齊。因為在 LaTeX 的語法規則中，為了重現數學公式語言里的二維空間結構，需要額外有一些特殊的結構字符來形成語法，而這些特殊的結構字符在輸入的數學公式中不存在，因而S patial Attention 無法完成對齊，此時則需要T emporal Attention 來補足這個不存在的對齊空缺，既能不干擾S patial Attention 的學習，又能提高D ecoder 的解碼能力，進一步提升性能。

Fig.3. Illustration of the attention guider

此外， TAP 還采用了A ttention Guider 來強化S patial Attention 的學習，從 Fig 3 中可以看出，在使用了A ttention Guider 來引導S patial Attention 的學習后，S patial Attention 的對齊效果顯著提升，十分精確，并且效果也反映到了最終的識別性能上。

三、主要實驗結果及可視化效

TABLE 1. The recognition results on CROHME2014.

TABLE 2. The recognition results on CROHME2016.

由 TABLE 1 、 TABLE 2 來看，文章所提方案在 CROHME2014 和 CROHME2016 公開數據集上取得了 state-of-the-art 的結果，且較傳統方法有巨大的提升，驗證了該方法的有效性，且 TAP 展示的結果相對于會議版本也有了進一步的提升，體現了H ybrid Attention 在糾正對齊和提升性能處起到了關鍵作用。

Fig.4. Visualization of temporal attention

Fig.5. Visualization of hybrid attention

Fig.6. Example of complementarity between online and offline modality

Fig 4 是對于T emporal Attention 的可視化，可見T emporal Attention 能夠很正確的幫助 Spatial Attention 區分結構字符和實體字符。 Fig 5 是對 Hybrid Attention 整體在一個手寫數學公式實例上的可視化。 Fig 6 列出了一個手寫數學公式在線和離線模態互補性的實例，由于存在倒筆現象，單純的在線模型無法正確識別該例子，而通過離線模型的融合輔助最終使得這個公式例子被正確識別（由于符號定義過多，更詳細的內容請參考原文，鏈接附后）。

四、總結及討論

1. TAP-ICDAR 版首次提出了基于深度學習的端到端在線手寫數學公式識別模型，將樹形結構識別問題巧妙轉換成了 LaTe X 字符串識別問題，成功突破了傳統方法在該問題上的性能瓶頸， 開辟了全新的在線數學公式識別框架。

2. TAP-TMM 相比 TAP-ICDAR 而言， 進一步提出了 Hybrid Attention ，不僅提高了 Attention 的對齊準確度，也針對性地處理了 LaTeX 中結構字符的對齊和生成，且效果最終都很好地反映在了最終的識別性能上。此外，通過融合離線模態的全局特性，進一步提升了在線手寫數學公式的識別率。

3. TAP 中匯報出來的在 CROHME2014 及 CROHME2016 上的識別率，至今仍是最好的公開結果，相關算法也在 CROHME2019 競賽上獲得了第一名，并且在沒有使用額外數據的情況便超越了其他使用大量額外數據的企業隊伍 。