面向中文搜索的開放域文檔視覺問答任務解決方案
現有開放域問答系統主要以文本集合作為信息來源回答用戶提問，如圖1所示，現有系統通常需要花費大量成本根....
通過Token實現多視角文檔向量表征的構建
該篇論文與前兩天分享的DCSR-面向開放域段落檢索的句子感知的對比學習一文有異曲同工之妙，都是在檢索....
對比學習中的4種典型范式的應用分析
對比學習是無監督表示學習中一種非常有效的方法，核心思路是訓練query和key的Encoder，讓這....
雙塔模型擴量負樣本的方法比較
雙塔模型在訓練時是對一個batch內樣本訓練。一個batch內每個樣本 (user和item對)為正....
基于Zero-Shot的多語言抽取式文本摘要模型
抽取式文本摘要目前在英文上已經取得了很好的性能，這主要得益于大規模預訓練語言模型和豐富的標注語料。但....
采用雙塔BERT模型對文本字符和label進行編碼
這是一篇來自于 ACL 2022 的文章，總體思想就是在 meta-learning 的基礎上，....
匯總在事件抽取方向的相關廠商調研結果
值得關注的是在論元提取（要素抽取）階段，除了CRF外，他們也嘗試了MRC（閱讀理解范式）、Biaff....
基于pipeline的文本糾錯系統框架分析
這是比較早期的一個中文文本糾錯系統，該系統結合了規則模版和統計的方法，很大程度的解決了同期糾錯系統誤....
面向實體對象的文本描述情感極性及色彩強度分析
在做這題的時候我就會思考如何做得優雅，最好方法是simple yet effective的。最好就是....
用于少數鏡頭命名實體識別的分解元學習
我們在一些 benchmark 上進行了實驗，實驗表明我們提出的框架比之前的 SOTA 模型表現更好....
文本預訓練的模型架構及相關數據集
多模態預訓練的數據通常來源于大規模的模態間對齊樣本對。由于時序維度的存在，視頻當中包含了比圖片更加豐....
在檢索任務中訓練數據在推理時也大有用處
有點類似 Prompt 學習，但本文主要關注有監督學習的設置。結果不僅效果很好，而且很容易擴展（只要....
Zero-shot-CoT是multi-task的方法
大規模預訓練語言模型借助于針對特定任務設計的prompt（無論是few shot還是zero sho....
事件模式歸納的歷史以及相關概念
一個典型的原子事件類型歸納的研究是Nathanael Chambers和Dan Jurafsky在2....
幾種基于深度學習的中文糾錯模型
Confusionset-guided Pointer Network看起來跟之前提及的CopyNe....
微調前給預訓練模型參數增加噪音提高效果的方法
為了減輕上述問題，提出了NoisyTune方法，即，在finetune前加入給預訓練模型的參數增加少....
一種緩解負采樣偏差的對比學習句表示框架DCLR
近年來，預訓練語言模型在各種 NLP 任務上取得了令人矚目的表現。然而，一些研究發現，由預訓練模型得....
SemEval 2022: 多語種慣用語識別評測冠軍系統簡介
提交的系統使用XLM-RoBERTa作為編碼器，在預處理過程中對訓練數據的慣用語短語（MWE）進行特....
關于Prompt在NER場景的應用總結
將序列標注任務轉換成一個生成任務，在Encoder端輸入為原始文本，Decoder端輸入的是一個已填....
如何顯著提升Vision Transformer的訓練效率
為了降低門檻，讓更多人能夠應用ViT，我們開發一系列方法來加速整個訓練。我們基于MetaAI的圖像分....
基于e-CARE的因果推理相關任務
因果推理是人類的一項核心認知能力。借助因果推理能力，人類得以理解已觀測到的各種現象，并預測將來可能發....
PaddleNLP v2.3帶來兩大重磅能力
針對以上難題，中科院軟件所和百度共同提出了一個大一統諸多任務的通用信息抽取技術UIE（Univers....
稠密檢索模型在zero-shot場景下的泛化能力
稠密檢索任務旨在通過給定的query，在一個龐大的document語料庫中召回與query高度相關的....
若干蒸餾方法之間的細節以及差異
以往的知識蒸餾雖然可以有效的壓縮模型尺寸，但很難將teacher模型的能力蒸餾到一個更小詞表的stu....
基于k近鄰與高斯噪聲的虛擬困難樣本增強方法
然而在無監督SimCSE中，作者僅使用dropout的方式進行了正樣本增強，沒有額外引入困難樣本，這....
緩解模型訓練成本過高的問題
模型壓縮可以分為模型剪枝（pruning）和模型蒸餾（distillation）。由于模型中的參數對....
一種基于亂序語言模型的預訓練模型-PERT
由于亂序語言模型不使用[MASK]標記，減輕了預訓練任務與微調任務之間的gap，并由于預測空間大小為....
Multilingual多語言預訓練語言模型的套路
Facebook在Crosslingual language model pretraining（N....
結合句子間差異的無監督句子嵌入對比學習方法-DiffCSE
句向量表征技術目前已經通過對比學習獲取了很好的效果。而對比學習的宗旨就是拉近相似數據，推開不相似數據....
機器翻譯中細粒度領域自適應的數據集和基準實驗
細粒度領域自適應問題是一個重要的實際應用問題。當研發人員需要為某個特定主題提供翻譯服務（比如為某個主....
工商網監