超越微軟!阿里AI在常識(shí)QA領(lǐng)域刷新世界紀(jì)錄

近日，阿里AI在常識(shí)QA領(lǐng)域的權(quán)威數(shù)據(jù)集CommonsenseQA上刷新世界紀(jì)錄，超過微軟取得第一名。這一技術(shù)是“95后”實(shí)習(xí)生葉志秀在達(dá)摩院科學(xué)家指導(dǎo)下完成的實(shí)習(xí)成果，顯著提升了AI的常識(shí)推理能力。

CommonsenseQA是為了研究基于常識(shí)知識(shí)的問答而提出的數(shù)據(jù)集，比此前的SWAG、SQuAD數(shù)據(jù)集難度更高。目前最流行的語言模型BERT在SWAG、SQuAD上的性能已經(jīng)接近或超過人類，但在CommonsenseQA上的準(zhǔn)確率還遠(yuǎn)低于人類。

常識(shí)推理是難度最高的自然語言理解（NLP，Natural Language Processing）任務(wù)之一。在機(jī)器翻譯、閱讀理解等NLP任務(wù)上，AI的表現(xiàn)已經(jīng)接近或超過人類水平。阿里AI先后在國際頂級(jí)的機(jī)器翻譯賽事WMT、機(jī)器閱讀理解賽事SQuAD、文本閱讀理解挑戰(zhàn)賽MS MARCO等賽事奪冠甚至趕超人類紀(jì)錄。相比之下，AI的常識(shí)推理能力比人類差得多。

為此，阿里巴巴達(dá)摩院語音實(shí)驗(yàn)室提出一種AMS方法，顯著提升BERT模型的常識(shí)推理能力。AMS方法使用與BERT相同的模型，僅預(yù)訓(xùn)練BERT，在不提升模型計(jì)算量的情況下，將 CommonsenseQA數(shù)據(jù)集上的準(zhǔn)確率提升了5.5%，達(dá)到62.2%。

阿里AI技術(shù)的突破將大幅提升下一代人機(jī)交互產(chǎn)品的常識(shí)理解能力，可應(yīng)用于語音導(dǎo)航、智能電視、語音售票機(jī)等產(chǎn)品。