3月4日消息，阿裏巴巴宣布完全開源支持10萬億模型的自研分布式深度學習訓練框架EPL(Easy Parallel Library，原名whale)，進一步完善深度學習生態。
EPL由阿裏雲機器學習平台PAI團隊自主研發，PAI是麵向開發者和企業的機器學習/深度學習工程平台，提供包含數據標注、模型構建、模型訓練、編譯優化、推理部署在內的AI開發全鏈路服務，內置140多種優化算法，具備豐富的行業場景插件，為用戶提供低門檻、高性能的雲原生AI工程化能力。
EPL是PAI團隊一次麵向大規模深度學習分布式自動化訓練的探索，EPL希望能夠簡化深度學習模型從單機訓練到分布式開發調試的流程。EPL通過對不同並行化策略進行統一抽象、封裝，在一套分布式訓練框架中支持多種並行策略，並進行顯存、計算、通信等全方位優化來提供易用、高效的分布式訓練框架。
EPL適合不同場景的模型，在阿裏巴巴內部已經支持圖像、推薦、語音、視頻、自然語言、多模態等多樣性的業務場景。同時，EPL也支持不同規模的模型，最大完成了10萬億規模的M6模型訓練，相比之前發布的大模型GPT-3，M6實現同等參數規模能耗僅為其1%。最新測試結果顯示，使用EPL的流水+數據並行對Bert Large模型進行優化，相比於數據並行，訓練速度提升了66%。
阿裏雲資深美女福利导航專家九豐表示，“近些年，隨著深度學習的火爆，模型的參數規模飛速增長，同時為訓練框架帶來更大挑戰。為應對這個問題，美女直播全婐APP免费下载研發了EPL，EPL功能也隨著業務需求的迭代逐漸完善。未來，美女直播全婐APP免费下载將在軟硬件一體優化、全自動策略探索等幾個探索性方向上持續投入精力。今天，美女直播全婐APP免费下载將EPL完全開源，希望和深度學習訓練框架的開發者或深度學習從業者之間有更多更好的交流和共建，持續完善深度學習生態。”
星空人工智能美女福利导航網 倡導尊重與保護知識產權。如發現本站文章存在版權等問題，煩請30天內提供版權疑問、身份證明、版權證明、聯係方式等發郵件至1851688011@qq.com美女直播全婐APP免费下载將及時溝通與處理。！：首頁 > 新聞 » 阿裏巴巴開源深度學習訓練框架EPL 可支持10萬億參數超大模型