圖神經(jīng)網(wǎng)絡(luò)的知識(shí)蒸餾框架介紹
隨著深度學(xué)習(xí)的成功，基于圖神經(jīng)網(wǎng)絡(luò)（GNN）的方法［8，12，30］已經(jīng)證明了它們?cè)诜诸惞?jié)點(diǎn)標(biāo)簽方面....
詳解對(duì)GNN的預(yù)測(cè)過(guò)程的實(shí)現(xiàn)與應(yīng)用方法
圖數(shù)據(jù)的天然優(yōu)勢(shì)是為學(xué)習(xí)算法提供了豐富的結(jié)構(gòu)化信息，節(jié)點(diǎn)之間鄰接關(guān)系的設(shè)計(jì)成為了重要的先驗(yàn)信息和交互....
詳解Tutorial代碼的學(xué)習(xí)過(guò)程與準(zhǔn)備
導(dǎo)讀：本文主要解析Pytorch Tutorial中BiLSTM_CRF代碼，幾乎注釋了每行代碼，希....
為什么SAM可以實(shí)現(xiàn)更好的泛化？如何在Pytorch中實(shí)現(xiàn)SAM？
動(dòng)機(jī)來(lái)自先前的工作，在此基礎(chǔ)上，我們提出了一種新的、有效的方法來(lái)同時(shí)減小損失值和損失的銳度。具體來(lái)說(shuō)....
為什么要引入遠(yuǎn)程監(jiān)督方法？
遠(yuǎn)程監(jiān)督學(xué)習(xí)很早之前就被提出來(lái)了，但是應(yīng)用在關(guān)系抽取任務(wù)上面應(yīng)該是2009年的一篇論文，作為遠(yuǎn)程監(jiān)督....
解析Transformer中的位置編碼 -- ICLR 2021
引言 Transformer是近年來(lái)非常流行的處理序列到序列問(wèn)題的架構(gòu)，其self-attentio....
口語(yǔ)語(yǔ)言理解在任務(wù)型對(duì)話系統(tǒng)中的探討
1.1 研究背景與任務(wù)定義 口語(yǔ)語(yǔ)言理解在任務(wù)型對(duì)話系統(tǒng)中扮演了一個(gè)非常重要的角色，其目的是識(shí)別出用....
Eleuther AI：已經(jīng)開(kāi)源了復(fù)現(xiàn)版GPT-3的模型參數(shù)
GPT3終于開(kāi)源！不過(guò)，不是官方開(kāi)的（別打我 Eleuther AI推出的名為GPT-Neo的開(kāi)源項(xiàng)....
關(guān)于文本匹配的破城長(zhǎng)矛
搜索也好，檢索式對(duì)話也好，文本是一個(gè)很難繞開(kāi)的話題，雖然語(yǔ)義是一個(gè)重要因素，用語(yǔ)義相似度直接梭，但是....
無(wú)監(jiān)督的多跳問(wèn)答的可能性研究
標(biāo)注多跳問(wèn)答（Multi-hop QA）數(shù)據(jù)集費(fèi)時(shí)費(fèi)力!本文首次研究了無(wú)監(jiān)督的多跳問(wèn)答的可能性，提出....
關(guān)于三篇論文中自然語(yǔ)言研究進(jìn)展與發(fā)展方向詳解
自然語(yǔ)言理解（Natural Language Understanding，NLU）是希望機(jī)器像人一....
PyTorch如何實(shí)現(xiàn)自定義CUDA算子并調(diào)用的方法且測(cè)量CUDA程序耗時(shí)
最近因?yàn)楣ぷ餍枰瑢W(xué)習(xí)了一波CUDA。這里簡(jiǎn)單記錄一下PyTorch自定義CUDA算子的方法，寫了一....
基于人工智能技術(shù)對(duì)疾病的判斷與預(yù)測(cè)及醫(yī)治
在人工智能技術(shù)飛速發(fā)展的當(dāng)下，基于人工智能方法的智慧醫(yī)療系統(tǒng)也逐漸吸引了大量研究人員的目光，計(jì)算機(jī)輔....
關(guān)于GCN的入門學(xué)習(xí)知識(shí)詳解
由于高度的復(fù)雜性和信息的結(jié)構(gòu)特征，圖上的機(jī)器學(xué)習(xí)是一項(xiàng)困難的任務(wù)。「GCN是被設(shè)計(jì)用來(lái)針對(duì)圖結(jié)構(gòu)的神....
知識(shí)圖譜與訓(xùn)練模型相結(jié)合和命名實(shí)體識(shí)別的研究工作
本次將分享ICLR2021中的三篇投遞文章，涉及知識(shí)圖譜與訓(xùn)練模型相結(jié)合和命名實(shí)體識(shí)別（NER）的研....
全球人工智能技術(shù)創(chuàng)新大賽短文本語(yǔ)義匹配方案技巧
好久不打比賽，周末看到“全球人工智能技術(shù)創(chuàng)新大賽”已經(jīng)開(kāi)打了一段時(shí)間，前排分?jǐn)?shù)沖的有點(diǎn)兇，技癢的我看....
21個(gè)經(jīng)典深度學(xué)習(xí)句間關(guān)系模型
鴿了很久的NLP入門系列終于在我的努力下又更新了。 上次聊了分類任務(wù)的模型與技巧，今天我們就來(lái)聊聊句....
如何在多模態(tài)的語(yǔ)境中利用Transformer強(qiáng)大的表達(dá)能力？
曾幾何時(shí)，多模態(tài)預(yù)訓(xùn)練已經(jīng)不是一個(gè)新的話題，各大頂會(huì)諸多論文仿佛搭上Visual和BERT，就能成功....
GNN解釋技術(shù)的總結(jié)和分析與圖神經(jīng)網(wǎng)絡(luò)的解釋性綜述
圖神經(jīng)網(wǎng)絡(luò)的可解釋性是目前比較值得探索的方向，今天解讀的2021最新綜述，其針對(duì)近期提出的 GNN ....
關(guān)于多任務(wù)學(xué)習(xí)如何提升模型性能與原則
提升模型性能的方法有很多，除了提出過(guò)硬的方法外，通過(guò)把神經(jīng)網(wǎng)絡(luò)加深加寬（深度學(xué)習(xí)），增加數(shù)據(jù)集數(shù)目（....
有關(guān)語(yǔ)義匹配和推理
推理層應(yīng)該是進(jìn)入最終預(yù)測(cè)之前的最后一層了。這一層的操作同樣沒(méi)那么簡(jiǎn)單，大部分人可能flatten、m....
如何在python中安裝和使用頂級(jí)聚類算法?
聚類或聚類分析是無(wú)監(jiān)督學(xué)習(xí)問(wèn)題。它通常被用作數(shù)據(jù)分析技術(shù)，用于發(fā)現(xiàn)數(shù)據(jù)中的有趣模式，例如基于其行為的....
如何讓Bert模型在下游任務(wù)中提高性能？
隨著Transformer 在NLP中的表現(xiàn)，Bert已經(jīng)成為主流模型，然而大家在下游任務(wù)中使用時(shí)，....
兩會(huì)閉幕，快來(lái)看看有哪些關(guān)于人工智能的提案？
3 月 10 日和 11 日，兩會(huì)相繼閉幕。近年來(lái)，「人工智能」成為兩會(huì)上必不可少的話題。今年兩會(huì)，....
通俗介紹如何使用python
據(jù)《福布斯》報(bào)道，每天大約會(huì)有 250 萬(wàn)字節(jié)的數(shù)據(jù)被產(chǎn)生。然后，可以使用數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)技術(shù)對(duì)這....
13個(gè)PyTorch使用的小竅門
本文整理了13則PyTorch使用的小竅門，包括了指定GPU編號(hào)、梯度裁剪、擴(kuò)展單張圖片維度等實(shí)用技....
PyTorch 1.8發(fā)布，支持AMD ROCm
1.8版本中，官方終于加入了對(duì)AMD ROCm的支持，可以方便的在原生環(huán)境下運(yùn)行，不用去配置Dock....
紹華為云在細(xì)粒度情感分析方面的實(shí)踐
導(dǎo)讀：隨著移動(dòng)互聯(lián)網(wǎng)的普及，網(wǎng)絡(luò)上每天產(chǎn)生大量的文本數(shù)據(jù)，蘊(yùn)含著巨大的有價(jià)值信息。情感分析作為自然語(yǔ)....
工商網(wǎng)監(jiān)