端到端關(guān)系抽取涉及兩個(gè)子任務(wù)：命名實(shí)體識(shí)別和關(guān)系抽取。近期研究多采用 joint 方式建模兩個(gè)子任務(wù)，而陳丹琦等人新研究提出一種簡(jiǎn)單高效的 pipeline 方法，在多個(gè)基準(zhǔn)上獲得了新的 SOTA 結(jié)果。

端到端關(guān)系抽取旨在識(shí)別命名實(shí)體，同時(shí)抽取其關(guān)系。近期研究大多采取 joint 方式建模這兩項(xiàng)子任務(wù)，要么將二者統(tǒng)一在一個(gè)結(jié)構(gòu)化預(yù)測(cè)網(wǎng)絡(luò)中，要么通過(guò)共享表示進(jìn)行多任務(wù)學(xué)習(xí)。 而近期來(lái)自普林斯頓大學(xué)的 Zexuan Zhong、陳丹琦介紹了一種非常簡(jiǎn)單的方法，并在標(biāo)準(zhǔn)基準(zhǔn)（ACE04、ACE05 和 SciERC）上取得了新的 SOTA 成績(jī)。該方法基于兩個(gè)獨(dú)立的預(yù)訓(xùn)練編碼器構(gòu)建而成，只使用實(shí)體模型為關(guān)系模型提供輸入特征。通過(guò)一系列精心檢驗(yàn)，該研究驗(yàn)證了學(xué)習(xí)不同的語(yǔ)境表示對(duì)實(shí)體和關(guān)系的重要性，即在關(guān)系模型的輸入層融合實(shí)體信息，并集成全局語(yǔ)境信息。 此外，該研究還提出了這一方法的高效近似方法，只需要在推斷時(shí)對(duì)兩個(gè)編碼器各執(zhí)行一次，即可獲得 8-16 倍的加速，同時(shí)準(zhǔn)確率僅小幅下降。

論文鏈接：https://arxiv.org/pdf/2010.12812.pdf pipeline 方法重回巔峰？ 從非結(jié)構(gòu)化文本中抽取實(shí)體及其關(guān)系是信息抽取中的基本問(wèn)題。這個(gè)問(wèn)題可以分解為兩個(gè)子任務(wù)：命名實(shí)體識(shí)別和關(guān)系抽取。 早期研究采用 pipeline 方法：訓(xùn)練一個(gè)模型來(lái)抽取實(shí)體，另一個(gè)模型對(duì)實(shí)體之間的關(guān)系進(jìn)行分類。而近期，端到端關(guān)系抽取任務(wù)已經(jīng)成為聯(lián)合建模子任務(wù)系統(tǒng)的天下。大家普遍認(rèn)為，這種 joint 模型可以更好地捕獲實(shí)體與關(guān)系之間的交互，并有助于緩解誤差傳播問(wèn)題。 然而，這一局面似乎被一項(xiàng)新研究打破。近期，普林斯頓大學(xué) Zexuan Zhong 和陳丹琦提出了一種非常簡(jiǎn)單的方法，該方法可以學(xué)習(xí)基于深度預(yù)訓(xùn)練語(yǔ)言模型構(gòu)建的兩個(gè)編碼器，這兩個(gè)模型分別被稱為實(shí)體模型和關(guān)系模型。它們是獨(dú)立訓(xùn)練的，并且關(guān)系模型僅依賴實(shí)體模型作為輸入特征。實(shí)體模型基于 span-level 表示而構(gòu)建，關(guān)系模型則建立在給定 span 對(duì)的特定語(yǔ)境表示之上。 雖然簡(jiǎn)單，但這一 pipeline 模型非常有效：在 3 個(gè)標(biāo)準(zhǔn)基準(zhǔn)（ACE04、ACE05、SciERC）上，使用相同的預(yù)訓(xùn)練編碼器，該模型優(yōu)于此前所有的 joint 模型。 為什么 pipeline 模型能實(shí)現(xiàn)如此優(yōu)秀的性能呢？研究者進(jìn)行了一系列分析，發(fā)現(xiàn)：

實(shí)體模型和關(guān)系模型的語(yǔ)境表示本質(zhì)上捕獲了不同的信息，因此共享其表示會(huì)損害性能；

在關(guān)系模型的輸入層融合實(shí)體信息（邊界和類型）至關(guān)重要；

在兩個(gè)子任務(wù)中利用跨句（cross-sentence）信息是有效的；

更強(qiáng)大的預(yù)訓(xùn)練語(yǔ)言模型能夠帶來(lái)更多的性能收益。

研究人員希望，這一模型能夠引發(fā)人們重新思考聯(lián)合訓(xùn)練在端到端關(guān)系抽取中的價(jià)值。 不過(guò)，該方法存在一個(gè)缺陷：需要為每個(gè)實(shí)體對(duì)運(yùn)行一次關(guān)系模型。為了緩解該問(wèn)題，研究者提出一種新的有效替代方法，在推斷時(shí)近似和批量處理不同組實(shí)體對(duì)的計(jì)算。該近似方法可以實(shí)現(xiàn) 8-16 倍的加速，而準(zhǔn)確率的下降卻很?。ɡ缭?ACE05 上 F1 分?jǐn)?shù)下降了 0.5-0.9%）。這使得該模型可以在實(shí)踐中快速準(zhǔn)確地應(yīng)用。 研究貢獻(xiàn) 該研究的主要貢獻(xiàn)有：

提出了一種非常簡(jiǎn)單有效的端到端關(guān)系抽取方法，該方法學(xué)習(xí)兩個(gè)獨(dú)立編碼器，分別用于實(shí)體識(shí)別和關(guān)系抽取的。該模型在三個(gè)標(biāo)準(zhǔn)基準(zhǔn)上達(dá)到了新 SOTA，并在使用相同的預(yù)訓(xùn)練模型的時(shí)，性能超越了此前所有 joint 模型。

該研究經(jīng)過(guò)分析得出結(jié)論：對(duì)于實(shí)體和關(guān)系而言，相比于聯(lián)合學(xué)習(xí)，學(xué)習(xí)不同的語(yǔ)境表示更加有效。

為了加快模型推斷速度，該研究提出了一種新穎而有效的近似方法，該方法可實(shí)現(xiàn) 8-16 倍的推斷加速，而準(zhǔn)確率只有很小的降低。

方法 該研究提出的模型包括一個(gè)實(shí)體模型和一個(gè)關(guān)系模型。如下圖所示，首先將輸入句子饋入實(shí)體模型，該模型為每一個(gè) span 預(yù)測(cè)實(shí)體類型；然后通過(guò)嵌入額外的 marker token 在關(guān)系模型中獨(dú)立處理每對(duì)候選實(shí)體，以突出顯示主語(yǔ)、賓語(yǔ)及其類型。

此外，研究者還介紹了該方法與 DYGIE++ 的區(qū)別（DYGIE++ 與該方法很接近，并且是最強(qiáng)的基線方法）。 1. 該研究提出的方法對(duì)實(shí)體模型和關(guān)系模型使用不同的編碼器，未使用多任務(wù)學(xué)習(xí)；預(yù)測(cè)得到的實(shí)體標(biāo)簽直接作為關(guān)系模型的輸入特征。 2. 關(guān)系模型中的語(yǔ)境表示特定于每個(gè) span 對(duì)。 3. 該方法用額外的語(yǔ)境擴(kuò)展輸入，從而納入跨句信息。 4. 該方法未使用束搜索或圖傳播層，因此，該模型要簡(jiǎn)單得多。 有效的近似方法 該研究提出的方法較為簡(jiǎn)潔有效，但是它的缺點(diǎn)是需要對(duì)每一個(gè)實(shí)體對(duì)運(yùn)行一次關(guān)系模型。為此，研究者提出一種新型高效的替代性關(guān)系模型。核心問(wèn)題在于，如何對(duì)同一個(gè)句子中的不同 span 對(duì)重用計(jì)算，在該研究提出的原始模型中這是不可能實(shí)現(xiàn)的，因?yàn)楸仨殲槊總€(gè) span 對(duì)分別嵌入特定的實(shí)體標(biāo)記。因此，研究者提出了一種近似模型，該模型對(duì)原始模型做了兩個(gè)重要更改。 首先，該近似方法沒(méi)有選擇直接將實(shí)體標(biāo)記嵌入原始句子，而是將標(biāo)記的位置嵌入與對(duì)應(yīng) span 的開(kāi)始和結(jié)束 token 聯(lián)系起來(lái)：

其次，近似方法為注意力層添加了約束：使文本 token 只注意文本 token 不注意標(biāo)記 token，實(shí)體標(biāo)記 token 則可以注意所有文本 token，4 個(gè)標(biāo)記 token 全部與同一個(gè) span 對(duì)關(guān)聯(lián)。 這兩項(xiàng)更改允許模型對(duì)所有文本 token 重用計(jì)算，因?yàn)槲谋?token 獨(dú)立于實(shí)體標(biāo)記 token。因而，該方法可以在運(yùn)行一次關(guān)系模型時(shí)批量處理來(lái)自同一個(gè)句子的多個(gè) span 對(duì)。 實(shí)驗(yàn) 研究人員在三個(gè)端到端關(guān)系抽取數(shù)據(jù)集 ACE04、ACE054 和 SciERC 上進(jìn)行方法評(píng)估，使用 F1 分?jǐn)?shù)作為評(píng)估度量指標(biāo)。 下表 2 展示了不同方法的對(duì)比結(jié)果：

從圖中可以看出，該研究提出的 single-sentence 模型實(shí)現(xiàn)了強(qiáng)大的性能，而納入跨句語(yǔ)境后，性能結(jié)果得到了一致提升。該研究使用的 BERT-base（或 SciBERT）模型獲得了與之前工作類似或更好的結(jié)果，包括那些基于更大型預(yù)訓(xùn)練語(yǔ)言模型構(gòu)建的模型，使用較大編碼器 ALBERT 后性能得到進(jìn)一步提升。 近似方法的性能 下表展示了完全關(guān)系模型和近似模型的 F1 分?jǐn)?shù)與推斷速度。在兩個(gè)數(shù)據(jù)集上，近似模型的推斷速度顯著提升。

這個(gè) pipeline 模型為什么超過(guò)了 joint 模型？ 除了展示方法和性能以外，該研究還深入分析了這一 pipeline 模型取得如此優(yōu)秀性能的原因。 鍵入文本標(biāo)記（typed text marker）的重要性 該研究認(rèn)為，為不同 span 對(duì)構(gòu)建不同語(yǔ)境表示非常重要，早期融合實(shí)體類型信息可以進(jìn)一步提升性能。 為了驗(yàn)證鍵入文本標(biāo)記的作用，研究者使用其不同變體在 ACE05 和 SciERC 數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，包括 TEXT、TEXTETYPE、MARKERS、MARKERSETYPE、MARKERSELOSS、TYPEDMARKERS 六種。 下表 4 展示了這些變體的性能，從中可以看出不同的輸入表示確實(shí)對(duì)關(guān)系抽取的準(zhǔn)確率產(chǎn)生影響。

實(shí)體和關(guān)系如何交互 人們對(duì) joint 模型的主要認(rèn)知是，對(duì)兩個(gè)子任務(wù)之間交互的建模對(duì)彼此有所幫助。但這項(xiàng)研究并未采取這種方式，而是使用了兩個(gè)獨(dú)立的編碼器。 研究人員首先研究了共享兩個(gè)表示編碼器能否提升性能。如下表 5 所示，簡(jiǎn)單地共享編碼器對(duì)實(shí)體 F1 和關(guān)系 F1 分?jǐn)?shù)均有所損害。研究人員認(rèn)為，其原因在于兩個(gè)任務(wù)具備不同的輸入格式，需要不同的特征來(lái)預(yù)測(cè)實(shí)體類型和關(guān)系，因此使用單獨(dú)的編碼器可以學(xué)得更好的任務(wù)特定特征。

該研究的分析結(jié)果顯示： 實(shí)體信息有助于預(yù)測(cè)關(guān)系，但實(shí)驗(yàn)未表明關(guān)系信息可以大幅提升實(shí)體性能。 僅共享編碼器對(duì)該研究提出的方法無(wú)益。 如何緩解 pipeline 方式中的誤差傳播問(wèn)題 pipeline 訓(xùn)練的一個(gè)主要缺陷是誤差傳播問(wèn)題。使用 gold 實(shí)體（及其類型）進(jìn)行關(guān)系模型訓(xùn)練，使用預(yù)測(cè)實(shí)體進(jìn)行推斷，可能會(huì)導(dǎo)致訓(xùn)練和測(cè)試之間存在差異。 為此，研究人員首先探究在訓(xùn)練階段使用預(yù)測(cè)實(shí)體（而非 gold 實(shí)體）能否緩解這一問(wèn)題。該研究采用 10-way jackknifing 方法，結(jié)果發(fā)現(xiàn)這一策略竟然降低了最終的關(guān)系性能。研究人員假設(shè)其原因在于訓(xùn)練階段引入了額外的噪聲。 在目前的 pipeline 方法中，如果在推斷階段 gold 實(shí)體沒(méi)有被實(shí)體模型識(shí)別出來(lái)，則關(guān)系模型無(wú)法預(yù)測(cè)與該實(shí)體相關(guān)的任何關(guān)系。于是，研究人員考慮在訓(xùn)練和測(cè)試階段，對(duì)關(guān)系模型使用更多 span 對(duì)。實(shí)驗(yàn)結(jié)果表明，這無(wú)法帶來(lái)性能提升。 這些常識(shí)未能顯著提升性能，而該研究提出的簡(jiǎn)單 pipeline 方法卻驚人的有效。研究者認(rèn)為誤差傳播問(wèn)題并非不存在或無(wú)法被解決，我們需要探索更好的解決方案。

責(zé)任編輯：lq