Expert Specialized Fine-Tuning：定製化大型語言模型的專業微調工具
Expert Specialized Fine-Tuning (ESFT) 是一種針對具有專家混合(MoE)架構的大型語言模型(LLMs)的高效定製化微調方法。它透過僅調整與任務相關的部分來最佳化模型效能，提高效率，同時減少資源和儲存的使用。
mistral-finetune：輕量級程式碼庫，用於高效微調Mistral模型
mistral-finetune是一個輕量級的程式碼庫，它基於LoRA訓練範式，允許在凍結大部分權重的情況下，只訓練1-2%的額外權重，以低秩矩陣微擾的形式進行微調。它被最佳化用於多GPU單節點訓練設定，對於較小模型，例如7B模型，單個GPU就足夠了。
Astraios：引數高效Fine-tuning大型語言模型
Astraios是一個提供大型語言模型Fine-tuning的平臺，提供了多種引數高效Fine-tuning方法，以及多種規模的模型選擇。使用者可以在該平臺上進行大規模語言模型的Fine-tuning，並獲得最佳的成本-效能平衡。平臺還提供了豐富的模型、資料集和文件，方便使用者進行相關研究和開發。定價靈活，適用於不同規模的使用者需求。