閘道器

Portkey的AI閘道器是應用程式和託管LLM之間的介面。它使用統一的API對OpenAI、Anthropic、Mistral、LLama2、Anyscale、Google Gemini等的API請求進行了最佳化,從而實現了流暢的路由。該閘道器快速、輕量,內建重試機制,支援多模型負載均衡,確保應用程式的可靠性和效能。