近日,阿里AI在常識QA領(lǐng)域的權(quán)威數(shù)據(jù)集CommonsenseQA上刷新世界紀(jì)錄,超過微軟取得第一名。這一技術(shù)是“95后”實習(xí)生葉志秀在達(dá)摩院科學(xué)家指導(dǎo)下完成的實習(xí)成果,顯著提升了AI的常識推理能力。
CommonsenseQA是為了研究基于常識知識的問答而提出的數(shù)據(jù)集,比此前的SWAG、SQuAD數(shù)據(jù)集難度更高。目前最流行的語言模型BERT在SWAG、SQuAD上的性能已經(jīng)接近或超過人類,但在CommonsenseQA上的準(zhǔn)確率還遠(yuǎn)低于人類。
常識推理是難度最高的自然語言理解(NLP,Natural Language Processing)任務(wù)之一。在機器翻譯、閱讀理解等NLP任務(wù)上,AI的表現(xiàn)已經(jīng)接近或超過人類水平。阿里AI先后在國際頂級的機器翻譯賽事WMT、機器閱讀理解賽事SQuAD、文本閱讀理解挑戰(zhàn)賽MS MARCO等賽事奪冠甚至趕超人類紀(jì)錄。相比之下,AI的常識推理能力比人類差得多。
為此,阿里巴巴達(dá)摩院語音實驗室提出一種AMS方法,顯著提升BERT模型的常識推理能力。AMS方法使用與BERT相同的模型,僅預(yù)訓(xùn)練BERT,在不提升模型計算量的情況下,將 CommonsenseQA數(shù)據(jù)集上的準(zhǔn)確率提升了5.5%,達(dá)到62.2%。
阿里AI技術(shù)的突破將大幅提升下一代人機交互產(chǎn)品的常識理解能力,可應(yīng)用于語音導(dǎo)航、智能電視、語音售票機等產(chǎn)品。
-
微軟
+關(guān)注
關(guān)注
4文章
6741瀏覽量
107872 -
阿里巴巴
+關(guān)注
關(guān)注
7文章
1647瀏覽量
49201
原文標(biāo)題:阿里AI刷新CommonsenseQA數(shù)據(jù)集紀(jì)錄
文章出處:【微信號:robotmagazine,微信公眾號:機器人技術(shù)與應(yīng)用】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
阿里神秘AI芯片曝光:多項參數(shù)超越英偉達(dá)A800
天合光能以極限科技創(chuàng)新持續(xù)突破光伏效率邊界
天合光能再次刷新大面積鈣鈦礦晶體硅疊層組件功率世界紀(jì)錄
馬斯克點贊晶科能源最新電池轉(zhuǎn)換效率世界紀(jì)錄
天合光能鈣鈦礦/晶體硅疊層電池效率及疊層組件功率雙雙刷新世界紀(jì)錄
晶科能源第31次打破電池效率和組件功率世界紀(jì)錄
世界紀(jì)錄誕生:電機功率密度達(dá)到59kW/kg
165Hz 超高刷東方屏打破 9 項世界紀(jì)錄,一加攜手京東方開啟中國屏幕的刷新時刻
谷東智能助力美的洗衣機荊州工廠榮獲世界紀(jì)錄認(rèn)證
廣汽本田雅閣刷新吉尼斯世界紀(jì)錄
解鎖LuatOS新世界:二次開發(fā)必備的3個核心常識
超越微軟!阿里AI在常識QA領(lǐng)域刷新世界紀(jì)錄
評論