背景
在生产环境中,我们部署了一个 Azure API Management (APIM) 服务,用于管理和路由 Azure OpenAI API 请求。本文将分享一次完整的性能分析过程,展示如何通过日志分析发现性能瓶颈并提出优化方案。
环境概况
基础设施
- API Management: Standard 层,单实例
- 位置: East US 2
- 平台版本: stv2
- 托管身份: User Assigned
已部署的 API
AOAI UNION API- Azure OpenAI 统一接口
- 路径:
/openai - 协议: HTTPS
- 需要订阅密钥
- 路径:
Echo API- 测试接口
- 路径:
/echo - 后端: Azure Playground
- 路径: