E^2-LLM:高效極限擴充套件大語言模型

E^2-LLM是一種高效極限擴充套件的大語言模型方法,透過僅需一次訓練過程和大幅降低的計算成本,實現了對長上下文任務的有效支援。該方法採用了RoPE位置嵌入,並引入了兩種不同的增強方法,旨在使模型在推理時更具魯棒性。在多個基準資料集上的綜合實驗結果證明了E^2-LLM在挑戰性長上下文任務上的有效性。