平安金融壹賬通又有重大突破!繼在人類(lèi)情緒理解競(jìng)賽多次登頂之后, 平安金融壹賬通gamma lab又在另一項(xiàng)國(guó)際頂級(jí)賽事上斬獲第一。近日,在由斯坦福大學(xué)發(fā)起的機(jī)器閱讀理解競(jìng)賽(stanford question answering dataset,squad)中,平安金融壹賬通以領(lǐng)先的技術(shù)脫穎而出,位列榜單第一位。

squad被譽(yù)為自然語(yǔ)言處理領(lǐng)域金字塔尖的比賽,旨在促進(jìn)智能搜索引擎的發(fā)展。該賽事吸引了來(lái)自谷歌、微軟亞研院、阿里達(dá)摩院、科大訊飛、ibm以及復(fù)旦大學(xué)等最頂尖的企業(yè)及學(xué)校的激烈角逐。平安金融壹賬通gamma lab以集成模型em=83.435%、f1=85.992%和單模型em=81.347%、f1:84.560%分別位列集成模型和單模型世界第一。

squad機(jī)器閱讀理解競(jìng)賽,是讓機(jī)器閱讀一篇文章,然后回答關(guān)于這篇文章的任何問(wèn)題,旨在推動(dòng)智能搜索的發(fā)展。2016年,斯坦福大學(xué)從維基百科上隨機(jī)選取了多篇文章,并進(jìn)一步細(xì)分成兩萬(wàn)多個(gè)段落。隨后采用眾包的方式,由人類(lèi)閱讀這些文章后,為每個(gè)段落提出五個(gè)問(wèn)題,并對(duì)段落內(nèi)的答案進(jìn)行人工標(biāo)注,搭建了該項(xiàng)競(jìng)賽的數(shù)據(jù)集1.1。今年6月3日,斯坦福nlp團(tuán)隊(duì)對(duì)外宣稱(chēng), 機(jī)器閱讀理解數(shù)據(jù)集1.1完成一波更新,已搭建完成squad 2.0。相較于squad 1.1中的10萬(wàn)問(wèn)答,squad 2.0又新增了5萬(wàn)個(gè)人類(lèi)撰寫(xiě)的問(wèn)題,而且問(wèn)題不一定有對(duì)應(yīng)答案。參考下圖:

在squad1.1數(shù)據(jù)集當(dāng)中,閱讀理解的主要難點(diǎn)是上下文的語(yǔ)義理解。所提問(wèn)題的答案并不能靠簡(jiǎn)單的近鄰或相似度對(duì)答案進(jìn)行匹配,而是需要通過(guò)nlp的語(yǔ)義分析,在考慮前后文信息后從全文中尋找到最合適的答案位置。想要做好這一點(diǎn),需要算法能力達(dá)到人類(lèi)閱讀理解的思考水平。在此基礎(chǔ)上,squad2.0中新增的無(wú)答案的混淆問(wèn)題進(jìn)一步提升了該任務(wù)的難度。一個(gè)問(wèn)題所對(duì)應(yīng)的段落中有一定概率不存在正確結(jié)果,即要算法判斷是否能夠回答,并在此基礎(chǔ)上準(zhǔn)確回答問(wèn)題。可以說(shuō)squad數(shù)據(jù)集2.0的任務(wù)在不斷逼近人類(lèi)閱讀理解的思考方式,同時(shí)也大幅提高了競(jìng)賽的難度。金融壹賬通gamma lab在本次競(jìng)賽中所獲得的成績(jī),已經(jīng)非常接近人類(lèi)水平,體現(xiàn)了世界最高水平的智能搜索能力。

以上是網(wǎng)絡(luò)信息轉(zhuǎn)載，信息真實(shí)性自行斟酌。