LoRA

Llama-3 70B Gradient 524K Adapter是一個基於Llama-3 70B模型的適配器，由Gradient AI Team開發，旨在透過LoRA技術擴充模型的上下文長度至524K，從而提升模型在處理長文本資料時的效能。該模型使用了先進的訓練技術，包括NTK-aware插值和RingAttention庫，以高效地在高效能運算叢集上進行訓練。