JAX

AXLearn是Apple基於JAX和XLA構建的深度學習庫,採用物件導向的方式解決軟體工程在大規模深度學習模型開發中的挑戰。它的配置系統允許使用者從可重用的構建塊中組合模型,並與其他庫(如Flax和Hugging Face transformers)整合。AXLearn旨在擴充套件訓練規模,支援數百億引數的模型在數千個加速器上高效訓練,適合在公有云上部署。它還採用全域性計算正規化,允許使用者描述全域性虛擬計算機上的計算,而不是單個加速器。AXLearn支援廣泛的應用,包括自然語言處理、計算機視覺和語音識別,幷包含用於訓練最先進模型的基線配置。