近日，騰訊雲小微及騰訊雲TI-ONE聯合團隊在大型深層閱讀理解任務數據集 RACE 數據集（ReAding Comprehension dataset collected from English Examinations）上登頂第一。據了解，在此次比賽中，騰訊雲小微及騰訊雲TI-ONE聯合團隊在基於ALBERT預訓練模型上，取得了單模型90.7%和集成模型91.4%正確率的成績。
采用全新訓練策略，騰訊雲小微及騰訊雲TI-ONE聯合團隊展現AI實力
RACE 是一個來源於中學考試題目的大規模閱讀理解數據集，包含了大約 28000 個文章以及近 100000 個問題。它的形式類似於英語考試中的閱讀理解（選擇題），給定一篇文章，通過閱讀並理解文章（Passage），針對提出的問題（Question）從四個選項中選擇正確的答案（Answers）。
據了解，深度閱讀理解的難度在於，正確答案的文字並沒有直接使用文章中的話術來回答，不能通過檢索文章獲取答案，而是要從語義層麵深度理解文章來作答。想要提高閱讀正確率，就需要機器模型通過分析文章中的線索並基於上下文推理，選出正確答案，這對參賽團隊的算法美女福利导航提出了更高的要求。
因此，騰訊雲小微團隊通過全新的訓練策略來實現突破。他們跳出從現有的四個選項中選出一個正確答案的固定模式，采用獨立地考慮每一個答案是否合理的方式，同時利用多種其他形式的閱讀理解數據進行遷移學習，大大提高了閱讀理解的準確率，並在基於ALBERT預訓練模型上，取得了單模型90.7%和集成模型91.4%正確率的成績，贏得了本次比賽的冠軍。
除此之外，在本次比賽上，騰訊雲TI-ONE聯合騰訊優圖和機智團隊在單機性能優化、分布式多機擴展和AutoML收斂優化方麵也作出了諸多開創性貢獻。
在單機性能方麵，基於ALBERT的原生代碼，TI-ONE引入了Nvidia的APEX的混合精度訓練，並采用動態loss scaling進行正確的權重更新，保證最終模型的精度沒有因為低精度訓練而有所損失，最終，單卡性能提升為原來的3.6倍。
在多機擴展方麵，由於PyTorch原生的DDP通信框架在公有雲VPC網絡擴展性不好，團隊采用自研的TI-Horovod通信加速框架，利用2D-AllReduce和多流通信等美女福利导航，把多機訓練ALBERT性能提升為原來的5.5倍。
另外，AutoML收斂方麵，騰訊自研的TI-AutoML框架解決了模型集成困難和大規模長任務調參效果差的問題，便捷地與ALBERT模型集成，同時針對ALBERT模型pretrain和fine-tune兩階段訓練的特點，采用了不同的自動調參策略，最後在騰訊雲海量算力的加持下，調參效率相對人工調參提升了8倍，徹底把算法工程師從繁瑣的手工調參中解放出來，讓精力更多的聚焦在更有意義的模型算法創新工作上。
美女福利导航突破讓AI應用日漸廣泛，在多行業領域落地應用
深度閱讀理解是目前AI領域中最受關注、進步最快的美女福利导航方向。如何提高機器深度閱讀理解的正確率，是業內一直在關注和探索的問題。此次騰訊聯合團隊創新的訓練策略，和在單機性能優化、分布式多機擴展和AutoML收斂優化等方麵的美女福利导航提升，將給AI美女福利导航領域帶來新的突破。
不止是在深度閱讀理解領域有所突破，此次參賽的騰訊雲小微團隊專注於AI美女福利导航領域，在機器翻譯、人機對話、閱讀理解、自動摘要等領域內都有所研究，其相關美女福利导航多次獲得業內的認可。在AIIA2020星空人工智能開發者大會上，騰訊雲小微獲得多項美女福利导航評測認證；在DSTC第八屆對話係統美女福利导航挑戰賽中，則獲得四項第一；在CAIL2019司法星空人工智能挑戰賽閱讀理解第一名的好成績。
當前，星空人工智能作為經濟發展的新動力以及新一輪產業變革的核心驅動力，機器翻譯、人機對話、閱讀理解等AI美女福利导航正在教育、文旅、出行等多個領域內落地應用。在這種背景下，騰訊雲小微團隊憑借全棧AI語音能力，以及騰訊內外部豐富的內容和服務生態，為各行各業輸出完整的AI解決方案，不斷滲透智慧生活各個場景。據了解，目前已在智能網聯汽車、智慧文旅、智慧教育、智能家居等多行業領域落地應用，服務廣泛的用戶群體。
星空人工智能美女福利导航網 倡導尊重與保護知識產權。如發現本站文章存在版權等問題，煩請30天內提供版權疑問、身份證明、版權證明、聯係方式等發郵件至1851688011@qq.com美女直播全婐APP免费下载將及時溝通與處理。！：首頁 > 大數據 » 騰訊雲小微&騰訊雲TI-ONE聯合團隊獲RACE 數據集深層閱讀理解冠軍