Link:axlearn
AXLearn是Apple基於JAX和XLA構建的深度學習庫,採用物件導向的方式解決軟體工程在大規模深度學習模型開發中的挑戰。它的配置系統允許使用者從可重用的構建塊中組合模型,並與其他庫(如Flax和Hugging Face transformers)整合。AXLearn旨在擴充套件訓練規模,支援數百億引數的模型在數千個加速器上高效訓練,適合在公有云上部署。它還採用全域性計算正規化,允許使用者描述全域性虛擬計算機上的計算,而不是單個加速器。AXLearn支援廣泛的應用,包括自然語言處理、計算機視覺和語音識別,幷包含用於訓練最先進模型的基線配置。
需求人群:
"用於開發和訓練大規模深度學習模型"
使用場景示例:
使用AXLearn的Transformer模型訓練語言模型
利用AXLearn在數百個GPU上訓練影象分類模型
構建語音識別pipeline,透過AXLearn的配置系統整合各個元件
產品特色:
物件導向的軟體工程方法
可擴充套件的模型訓練
全域性計算正規化
整合其他深度學習庫
公有云部署支援