擴(kuò)散模型再下一城！ 故事配圖這個(gè)活可以交給AI了
生成具有故事性的漫畫(huà)可不是那么簡(jiǎn)單，不光要保證圖像質(zhì)量，畫(huà)面的連貫性也占有非常重要的地位，如果生成的....
用于NAT的選擇性知識(shí)蒸餾框架
盡管NAT在擁有許多潛在的優(yōu)勢(shì)，目前的工作中這類模型仍然在很大程度上依賴于句子級(jí)別的知識(shí)蒸餾（seq....
介紹四個(gè)為語(yǔ)言生成設(shè)計(jì)的預(yù)訓(xùn)練模型
BERT: 只有Transformer Encoder部分，隨機(jī)MASK掉一些token，然后利用上....
為什么不同模態(tài)的embedding在表征空間中形成不同的簇
文中將一些經(jīng)典的多模態(tài)對(duì)比學(xué)習(xí)模型中兩個(gè)模態(tài)的embedding，通過(guò)降維等方法映射到二維坐標(biāo)系中。
一種將信息直接編碼到預(yù)訓(xùn)練的語(yǔ)言模型中的結(jié)構(gòu)
邊界信息的挖掘，對(duì)于NER的任務(wù)是非常重要的，這種類似于分詞的功能，能夠很好的挖掘到詞語(yǔ)，并且把一個(gè)....
如何使用CLM自身的embedding來(lái)得到OOD score？
如果直接套用classification任務(wù)中使用MSP作為OOD score的話，那么對(duì)于NLG問(wèn)....
基于VQVAE的長(zhǎng)文本生成 利用離散code來(lái)建模文本篇章結(jié)構(gòu)的方法
寫(xiě)在前面 近年來(lái)，多個(gè)大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型 GPT、BART、T5 等被提出，這些預(yù)訓(xùn)練模型在自動(dòng)文....
從統(tǒng)一視角看各類高效finetune方法實(shí)現(xiàn)最優(yōu)tuning框架設(shè)計(jì)
Adaptor核心是在原Bert中增加參數(shù)量更小的子網(wǎng)絡(luò)，finetune時(shí)固定其他參數(shù)不變，只更新....
采用檢測(cè)框架CoP通過(guò)控制偏好檢測(cè)事實(shí)不一致
一致性評(píng)估的本質(zhì)是衡量摘要Y受原文X支持的程度，也就是衡量X到Y(jié)的因果效應(yīng)。直接使用常規(guī)推理過(guò)程的生....
基于本體的金融知識(shí)圖譜自動(dòng)化構(gòu)建技術(shù)
本評(píng)測(cè)任務(wù)參考 TAC KBP 中的 Cold Start 評(píng)測(cè)任務(wù)的方案，圍繞金融研報(bào)知識(shí)圖譜的自....
FRNet：上下文感知的特征強(qiáng)化模塊
現(xiàn)有的工作已經(jīng)注意到了這個(gè)問(wèn)題，例如 IFM、DIFM 等，但是他們僅僅在不同的實(shí)例中為相同特征賦予....
谷歌提出Flan-T5，一個(gè)模型解決所有NLP任務(wù)
這里的Flan指的是（Instruction finetuning），即"基于指令的微調(diào)"；T5是2....
介紹兩種高效的參數(shù)更新方式LoRA與BitFit
NLP一個(gè)重要的范式包括在通用領(lǐng)域數(shù)據(jù)上的大規(guī)模預(yù)訓(xùn)練和在特定任務(wù)或者領(lǐng)域上的微調(diào)。
圖模型在方面級(jí)情感分析任務(wù)中的應(yīng)用
方面級(jí)情感分析(Aspect-based Sentiment Analysis, ABSA)是一項(xiàng)細(xì)....
一篇文章講清楚交叉熵和KL散度
什么情況下產(chǎn)生的平均驚喜最高呢？自然是不確定越高平均驚喜越高。對(duì)于給定均值和方差的連續(xù)分布，正態(tài)分布....
面向Aspect情感分析的自動(dòng)生成離散意見(jiàn)樹(shù)結(jié)構(gòu)
在本文中，我們探索了一種簡(jiǎn)單的方法，為每個(gè)方面自動(dòng)生成離散意見(jiàn)樹(shù)結(jié)構(gòu)。用到了RL。
從預(yù)訓(xùn)練語(yǔ)言模型看MLM預(yù)測(cè)任務(wù)
為了解決這一問(wèn)題，本文主要從預(yù)訓(xùn)練語(yǔ)言模型看MLM預(yù)測(cè)任務(wù)、引入prompt_template的ML....
用于中文縮略詞預(yù)測(cè)的序列生成模型研究
縮略詞是單詞或短語(yǔ)的縮寫(xiě)形式。為了方便寫(xiě)作和表達(dá)，在文本中提及某個(gè)實(shí)體時(shí)，人們傾向于使用縮寫(xiě)名稱而不....
基于性別的暴力（GBV）的語(yǔ)言表達(dá)如何影響責(zé)任認(rèn)知
不同的語(yǔ)言表達(dá)可以通過(guò)強(qiáng)調(diào)某些部分從不同的角度來(lái)概念化同一事件。該論文調(diào)查了一個(gè)具有社會(huì)后果的案例：....
求一種基于結(jié)構(gòu)統(tǒng)一M叉編碼樹(shù)的求解器解決方案
數(shù)學(xué)問(wèn)題 (英文叫Math Word Problem，簡(jiǎn)稱MWP) 的求解要求給定一段描述文本，其中....
一種新型的雙流注意力增強(qiáng)型BERT來(lái)提高捕捉句子對(duì)中細(xì)微差異的能力
因此，該論文提出一種新型的雙流注意力增強(qiáng)型bert（DABERT，Dual Attention En....
幫助弱者讓你變得更強(qiáng)：利用多任務(wù)學(xué)習(xí)提升非自回歸翻譯質(zhì)量
沿著這個(gè)思路，我們希望能夠?yàn)镹AR模型提供更具信息量的學(xué)習(xí)信號(hào)，以便更好地捕獲目標(biāo)端依賴。同時(shí)，最好....
列舉一些常見(jiàn)的數(shù)據(jù)問(wèn)題以及解決方案
其次，有些數(shù)據(jù)集，和很多原因有關(guān)，無(wú)論是訓(xùn)練集還是測(cè)試集，準(zhǔn)確率可能都只是在六七十甚至更低，我們其實(shí)....
簡(jiǎn)單總結(jié)幾種NLP常用的對(duì)抗訓(xùn)練方法
對(duì)抗訓(xùn)練本質(zhì)是為了提高模型的魯棒性，一般情況下在傳統(tǒng)訓(xùn)練的基礎(chǔ)上，添加了對(duì)抗訓(xùn)練是可以進(jìn)一步提升效果....
介紹大模型高效訓(xùn)練所需要的主要技術(shù)
隨著B(niǎo)ERT、GPT等預(yù)訓(xùn)練模型取得成功，預(yù)訓(xùn)-微調(diào)范式已經(jīng)被運(yùn)用在自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、多模態(tài)....
建立計(jì)算模型來(lái)預(yù)測(cè)一個(gè)給定博文的抱怨強(qiáng)度
在計(jì)算語(yǔ)言學(xué)中，先前的研究主要集中在建立自動(dòng)分類模型來(lái)識(shí)別抱怨是否存在。Jin提供了一個(gè)數(shù)據(jù)集，基于....
CogBERT：腦認(rèn)知指導(dǎo)的預(yù)訓(xùn)練語(yǔ)言模型
另一方面，從語(yǔ)言處理的角度來(lái)看，認(rèn)知神經(jīng)科學(xué)研究人類大腦中語(yǔ)言處理的生物和認(rèn)知過(guò)程。研究人員專門(mén)設(shè)計(jì)....
基于使用對(duì)比學(xué)習(xí)和條件變分自編碼器的新穎框架ADS-Cap
在本文中，我們研究了圖像描述（Image Captioning）領(lǐng)域一個(gè)新興的問(wèn)題——圖像風(fēng)格化描述....
對(duì)話系統(tǒng)中的中文自然語(yǔ)言理解(NLU)（3.1）學(xué)術(shù)界中的方法（聯(lián)合訓(xùn)練）
槽位填充任務(wù)(Slot Filling Task) 當(dāng)模型聽(tīng)懂人類的意圖之后，為了執(zhí)行任務(wù)，模型便需....
摘要模型理解或捕獲輸入文本的要點(diǎn)
Abstract Intro ? 盡管基于預(yù)訓(xùn)練的語(yǔ)言模型的摘要取得了成功，但一個(gè)尚未解決的問(wèn)題是生....
工商網(wǎng)監(jiān)