Link：portkey-ai-gateway
Portkey的AI閘道器是應用程式和託管LLM之間的介面。它使用統一的API對OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini等的API請求進行了最佳化,從而實現了流暢的路由。該閘道器快速、輕量,內建重試機制,支援多模型負載均衡,確保應用程式的可靠性和效能。
需求人群：
["透過統一的API使用各種LLM","提高應用程式的穩定性","最佳化不同LLM的使用","平滑遷移到新的LLM"]
使用場景示例：
使用OpenAI SDK透過閘道器呼叫不同的LLM
配置回退策略防止請求失敗
為應用配置多個API金鑰實現負載均衡
產品特色：
統一的API簽名
多模型支援
自動重試
負載均衡
容錯回退