Link：llm-augmented-llms
LLM Augmented LLMs透過將現有基礎模型與更具體的模型進行組合，實現新的能力。CALM（Composition to Augment Language Models）引入模型之間的交叉注意力，以組合它們的表示並實現新的能力。其顯著特點包括：（i）透過“重用”現有LLMs以及少量額外引數和資料，在新任務上擴充套件LLMs的規模；（ii）保持現有模型權重不變，因此保留現有的能力；（iii）適用於不同的領域和設定。實驗證明，將PaLM2-S與在低資源語言上訓練的較小模型進行增強，在諸如翻譯成英語和低資源語言的算術推理等任務上，結果絕對改善了高達13%。類似地，當PaLM2-S與特定於程式碼的模型進行增強時，在程式碼生成和解釋任務上，相對於基礎模型，我們看到了高達40%的改進，與完全微調的對應模型不相上下。
需求人群：
"適用於需要對語言模型進行擴充套件和增強的程式設計任務"
使用場景示例：
在程式碼生成和解釋任務中，將PaLM2-S與特定於程式碼的模型進行增強
在低資源語言上訓練的較小模型進行增強，結果絕對改善了高達13%的翻譯任務
適用於需要對語言模型進行擴充套件和增強的程式設計任務
產品特色：
透過重用現有LLMs和少量額外引數和資料，在新任務上擴充套件LLMs的規模
保持現有模型權重不變，因此保留現有的能力
適用於不同的領域和設定