Link：longrope
LongRoPE是微軟推出的技術，可以將預訓練大型語言模型（LLM）的上下文視窗擴充套件到2048k（200萬）令牌，實現從短上下文到長上下文的擴充套件，降低訓練成本和時間，同時保持原有短上下文視窗效能。適用於提高語言模型在長文字上的理解和生成能力，提升機器閱讀理解、文字摘要和長篇文章生成等任務。
需求人群：
"適用於需要處理極長文字的任務，提高語言模型在長文字上的理解和生成能力，提升機器閱讀理解、文字摘要和長篇文章生成等任務的效能。"
使用場景示例：
用於機器閱讀理解任務，提高模型在長文字上的理解能力。
應用於文字摘要生成，提升自動摘要生成效果。
支援長篇文章生成，使模型能夠更好地處理大篇幅文字。
產品特色：
擴充套件上下文視窗至200萬令牌
低成本微調
保持短上下文效能