概述
本方案使用 Azure API Management (APIM) 实现多个 Azure OpenAI 资源的负载均衡和故障转移,提供高可用性和更大的吞吐量。
架构
┌─────────────────────────────────┐ │ 客户端应用 │ └─────────────┬───────────────────┘ │ ▼ ┌─────────────────────────────────┐ │ Azure API Management │ │ │ │ • 轮询负载均衡 (Round Robin) │ │ • 自动故障转移 │ │ • 托管标识认证 │