摩爾線程聯合潞晨科技研發的預訓練語言模型MusaBert（MUSA為摩爾線程提出的通用元計算架構），在12月16日的中文語言理解領域權威CLUE榜單上進入TOP 10，最終以82.889得分在CLUE1.1總排行榜中排名（除人類成績以外）第9，並在AFQMC任務中以86.92分取得排名第一的成績，這意味著摩爾線程AI在語義理解與匹配能力上超越了人類水平。同時，這也是潞晨科技的AI大模型開發係統Colossal-AI在自然語言處理領域應用的重要進展。
（2022年12月16日CLUE1.1總排行榜最新成績）
相較於CLUE總排行榜TOP 10的其他中文預訓練模型，MusaBert僅包含3億參數量，是前十名中規模最小的模型，並且為單模型（single model），沒有進行任何集成。此外，摩爾線程基於MusaBert的語義嵌入模型MusaSim在AFQMC任務上擊敗一眾大規模模型，取得第一名，不僅為檢索係統、分類對話等更深度語義理解研究打下堅固基石，也證明了摩爾線程在中文自然語言處理領域和低資源大模型訓練方麵的強大能力。
一直以來，語義理解都是NLP（自然語言處理）美女福利导航的重要目標，通過一係列AI算法，可將文本解析為結構化的、機器可讀的意圖與詞槽信息。通常來說，訓練數據的獲取與處理、模型的迭代和訓練等都是NLP美女福利导航的落地難點。MusaBert僅使用了極少的參數量便取得了比肩甚至超越百億參數大模型的成績，主要是得益於多方麵獲得的突破性進展：
● 美女福利导航層麵：摩爾線程擁有“軟硬一體”的美女福利导航能力，使得MusaBert能夠從底到上進行優化；摩爾線程多功能GPU內置AI加速和並行計算等硬件模塊，能夠提供AI和科學計算在內的全棧功能，能夠為AI推理計算加速、低資源大模型訓練等應用場景提供通用、高性價比、節能環保的AI能力。
● 算法層麵：MusaBert使用了潞晨科技的AI大模型開發係統Colossal-AI，在上遊訓練方麵，充分發揮了該係統的易用性及強大的並行訓練性能，同時MusaBert針對模型數據預處理使用的DataLoader進行了優化，可以在低資源的條件下快速處理大規模數據；在下遊任務方麵，摩爾線程通過采用合適的優化建模、在領域內進行數據增強以及在模型的訓練優化中采用了先進的Adan優化器等方式，盡可能發掘和展現出預訓練語言模型強大的語義理解能力。摩爾線程自研的語義嵌入模型MusaSim以MusaBert為基座模型，使用對比學習方法進行訓練，並利用了摩爾線程收集的百萬對有監督數據。得益於MusaBert和高質量的數據集，MusaSim不僅在語義相似度任務上超越了眾多更大規模的模型，在意圖識別、情緒分析等分類任務上，也能得到較好的效果。
● 數據層麵：MusaBert除使用了摩爾線程自身收集的高質量語義相似數據以外，還使用了200GB悟道開源數據和80GB的CLUE社區數據，以及浪潮電子信息產業股份有限公司提供的1T高質量數據集。大規模高質量的數據使得模型在相對小的規模下仍然保持了較高的性能。
目前，MusaBert作為基座模型，已經應用於摩爾線程研發的智能客服與數字人等項目，並相繼在下遊語義相似度、情緒識別、閱讀理解、聲韻識別等領域落地。
為了更進一步降低大模型開發和應用的門檻，MusaBert代碼現已開源到Colossal-AI倉庫(http://github.com/hpcaitech/ColossalAI/tree/main/examples/language/roberta)，使用該腳本，可在短時間內訓練出高質量的中文Bert模型。包括MusaBert和MusaSim在內的一係列高質量模型也將在近期開源以貢獻中文NLP社區。此外，經摩爾線程與潞晨科技的嚴格測試，僅通過摩爾線程多功能GPU單卡，即可進行MusaBert甚至是更大規模的GPT2的訓練，大大降低了預訓練成本，這也為雙方實現低資源大模型訓練的共同願景，邁出了堅實一步。
作為中文語言理解領域最具權威性的測評基準之一，CLUE 涵蓋文本相似度、分類、自然語言推理、閱讀理解等眾多語義分析和理解類子任務，工業界和學術界紛紛用 CLUE 作為預訓練算法能力的驗證和衡量標準。此次進入CLUE榜單TOP 10，代表了摩爾線程與潞晨科技聯合研發團隊在中文預訓練研究領域已達到業內領先水平。
展望未來，摩爾線程還將與潞晨科技緊密合作，著手更適當規模的自然語言大模型研究，充分利用上遊數據，產出能力更強的模型並且開源。同時，保持算法和係統兩個層麵並行，持續優化大模型在摩爾線程多功能GPU上的訓練能力，尤其在單張消費級顯卡等低資源場景下的訓練能力，可以大大降低使用大模型訓練的門檻和成本，進一步促進AI民主化。
關於潞晨科技
潞晨科技是一家致力於“解放AI生產力”的全球性公司，核心產品麵向大模型時代的通用深度學習係統 Colossal-AI，可實現高效快速部署AI大模型訓練和推理，降低AI大模型應用成本。自開源以來，Colossal-AI已經多次在GitHub熱榜位列世界第一，獲得GitHub Star約七千顆，並成功入選SC、AAAI、PPoPP等國際AI與HPC頂級會議的官方教程。相關解決方案已成功在自動駕駛、雲計算、零售、醫藥、芯片等行業知名廠商落地應用、廣受好評。
關於摩爾線程
摩爾線程智能科技（北京）有限責任公司是一家以GPU芯片設計為主的集成電路高科技公司，專注於研發設計全功能GPU芯片及相關產品，能夠為中國科技生態合作夥伴提供強大的計算加速能力。公司成立於2020年10月，致力於創新麵向元計算應用的新一代GPU，構建融合視覺計算、3D圖形計算、科學計算及星空人工智能計算的綜合計算平台，建立基於雲原生GPU計算的生態係統，助力驅動數字經濟發展。
星空人工智能美女福利导航網 倡導尊重與保護知識產權。如發現本站文章存在版權等問題，煩請30天內提供版權疑問、身份證明、版權證明、聯係方式等發郵件至1851688011@qq.com美女直播全婐APP免费下载將及時溝通與處理。！：首頁 > 新聞 » Colossal-AI助力，摩爾線程預訓練語言模型MusaBert榮登CLUE榜單TOP10