中新網(wǎng)7月31日電 近日，小i機器人研究院團隊(xiaoi research)在由斯坦福大學發(fā)起的國際權(quán)威機器閱讀理解評測squad1.1挑戰(zhàn)賽中，憑借最新研究成果—bert+wwm+mt的單模型，以em(精準匹配率和f1(模糊匹配率)超越人類平均水平的優(yōu)異成績排名第三(截至7月30日)，進一步驗證了小i機器人nlp相關(guān)模型算法的技術(shù)可行性和全球先進性。

關(guān)于squad1.1

squad被譽為自然語言處理領(lǐng)域金字塔尖的比賽，旨在促進智能搜索引擎的發(fā)展。國際機器閱讀理解評測squad自2016年發(fā)布以來，便受到了業(yè)界的廣泛關(guān)注，共吸引了包括谷歌、微軟亞洲研究院、ibm研究院、阿里巴巴達摩院、上海交通大學等眾多國內(nèi)外知名研究機構(gòu)和高校的踴躍報名。

在squad1.1數(shù)據(jù)集當中，閱讀理解的主要難點是上下文的語義理解。所提問題的答案并不能靠簡單的近鄰或相似度對答案進行匹配，而是需要通過nlp的語義分析，在考慮前后文信息后從全文中尋找到最合適的答案位置。想要做好這一點，需要算法能力達到人類閱讀理解的思考水平。

參賽者需要提交一個系統(tǒng)模型，該系統(tǒng)模型在閱讀完數(shù)據(jù)集中的一篇文章后，逐一回答若干個基于文章內(nèi)容的問題。然后，與人工標注的答案進行比對，得出精確匹配(exact match)和模糊匹配(f1-score)等相關(guān)評價指標。em表示預測答案和真實答案完全匹配，而f1用來評測模型的整體性能的結(jié)果。

小i機器人bert+wwm+mt單模型

小i機器人研究院團隊在基于whole word masking的bert預訓練模型基礎之上，引入輔助任務如newsqa等數(shù)據(jù)集，采用多任務學習的思路來改進現(xiàn)有模型的效果，進一步提升模型的最終預測評價指標 (主要為exact match和f1值)， 小i機器人參賽模型在此次比賽中獲得em指標 (精準匹配率)達到88.650，f1指標(模糊匹配率)達到94.393的優(yōu)異成績。

具體地來說，小i機器人研究院團隊針對目標任務和輔助任務中的問題和答案的屬性和語義特征，來綜合判斷輔助任務中的數(shù)據(jù)樣本與目標任務中的數(shù)據(jù)樣本之間的相關(guān)性，最后將這個相關(guān)性指標引入到模型訓練過程中損失函數(shù)的計算過程中，以充分利用并學習到來自目標任務和有關(guān)輔助任務中的知識，從而最終提升模型的預測效果。

參賽模型相關(guān)技術(shù)已廣泛落地應用

技術(shù)評測不只是“花拳繡腿”，能否將技術(shù)更好的應用到實際產(chǎn)品中才是評測的最終目的。此次小i機器人用以參賽模型的相關(guān)技術(shù)已被成熟運用于小i服務的數(shù)十個行業(yè)的有關(guān)產(chǎn)品和實際項目中，已實現(xiàn)可商業(yè)化可應用化。例如，小i在開發(fā)的智能對話系統(tǒng)ibot平臺中，就融合了基于機器閱讀理解的discovery bot能力，可用于解決系統(tǒng)未收錄的知識問題的提問。通過引入這一能力，可進一步減少人力資源，不斷提升對話系統(tǒng)的回復準確率，同時輔助完善相關(guān)的問答知識庫積累。

以上是網(wǎng)絡信息轉(zhuǎn)載，信息真實性自行斟酌。