news 2026/6/26 20:45:36

阿里PAI平台使用ESA部署模型滚动更新

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
阿里PAI平台使用ESA部署模型滚动更新

阿里PAI平台使用ESA部署模型滚动更新

场景:

阿里PAI平台使用ESA部署模型,vllm部署双卡,双实例

EAS滚动更新配置:

超过期望实例数:{”rolling_strategy.max_surge“:1}

  • 超过期望的实例数(JSON参数:rolling_strategy.max_surge

    • 描述:更新时最多可额外创建的实例数,支持正整数或百分比。值越大,更新越快。
    • 例如:100个实例,配置为20,则更新开始即创建20个新实例。
    • **默认值:**实例总数的2%(不足1时取1)。

    重要

    超过期望的实例数过大时,大量新实例上线后会立即替换等量旧实例,若新实例未预热,突增流量可能冲击服务稳定性。

最大不可用实例数: {“rolling_strategy.max_unavailable”:0}

  • 最大不可用实例数(JSON参数:rolling_strategy.max_unavailable

    • **描述:**更新过程中允许的最大不可用实例数,用于释放资源,防止因资源不足导致更新过程被阻碍。
    • 例如:设为N,更新开始时立即停止N个旧实例。
    • 默认值:
      • 专属资源组:2025年9月1日前创建的服务,默认为1。2025年9月1日后创建的服务,弹性资源池开启默认为0,未开启默认为1。
      • 公共资源组:0。
      • 灵骏智算Quota:2025年9月1日前创建的服务,默认为0。2025年9月1日后创建的服务,默认为实例数的2%(不足1时取1)。

    重要

    • 单实例服务若将最大不可用实例数设为1,滚动更新时旧实例会在新实例启动前退出,期间服务无可用实例,将短暂不可用。
    • 最大不可用实例数过大可能导致过多实例同时下线,剩余实例不足以承载流量,影响服务可用性。

EAS优雅退出配置:

优雅退出时间:{“eas.termination_grace_period”:60}

优雅退出时间(JSON参数:eas.termination_grace_period

  • **描述:**实例优雅退出等待时间,单位秒。实例进入Terminating状态后,流量被摘除,系统等待30秒让其处理完已接收请求后再下线。若请求处理时间较长,建议调大该值。
  • **默认值:**30

是否发送SIGTERM:{“rpc.enable_sigterm”: false}

是否发送SIGTERM(JSON参数:rpc.enable_sigterm

  • **描述:**SIGTERM是终止进程的信号。JSON参数取值true、false。
    • false:实例退出时不会发送SIGTERM信号。
    • true:实例退出时,系统立即发送SIGTERM信号,服务主进程需在信号处理函数中实现自定义优雅退出逻辑,否则可能直接终止,导致优雅退出失败。
  • **默认值:**不发送(false)
版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/25 9:28:23

Huggingface镜像网站访问慢?国内加速下载Qwen3-VL-8B方法

国内加速下载 Qwen3-VL-8B:突破 Hugging Face 下载瓶颈的实战方案 在多模态AI快速落地的今天,一个现实问题正困扰着无数国内开发者——想用最新的视觉语言模型做产品原型,结果卡在第一步:连模型都下不下来。 比如你刚接到任务要开…

作者头像 李华
网站建设 2026/6/26 2:30:21

AutoGPT能否用于学术论文写作辅助?严谨性测评

AutoGPT能否用于学术论文写作辅助?严谨性测评 在人工智能加速渗透科研领域的今天,一个现实而紧迫的问题浮出水面:我们能否让AI真正“独立”完成一篇合格的学术综述?不是简单地拼接段落,而是像一位研究生那样&#xff…

作者头像 李华
网站建设 2026/6/24 11:53:50

Hoppscotch批量编辑完全指南:从基础到精通的高效参数管理

Hoppscotch批量编辑完全指南:从基础到精通的高效参数管理 【免费下载链接】hoppscotch 一个开源的API开发工具,可以帮助你轻松发送和测试API请求,查看响应结果,支持多种HTTP方法和数据格式,还提供团队协作功能。源项目…

作者头像 李华
网站建设 2026/6/26 12:56:35

基控电箱是什么?功能、选型与应用全指南

在工业生产、商业建筑、居民住宅等各类用电场景中,基控电箱作为电力分配与控制的核心设备,默默承担着保障用电安全、稳定供电的关键职责。无论是南方潮湿地区的防腐蚀需求,还是北方低温环境的防冻要求,亦或是工业场地的高负荷适配…

作者头像 李华
网站建设 2026/6/25 2:23:48

自动化工程:赋能产业升级的核心引擎,从原理到应用全解析

在工业4.0浪潮席卷全球、智能制造成为产业转型核心方向的当下,“自动化工程”早已不是局限于专业领域的小众概念,而是渗透到汽车制造、电子加工、物流仓储、能源电力等多个行业的核心支撑技术。小到我们日常接触的智能家电控制,大到工厂无人生…

作者头像 李华
网站建设 2026/6/26 13:50:50

5、编程中的函数、参数传递与数组应用

编程中的函数、参数传递与数组应用 1. 函数使用示例 在编程中,函数是非常重要的组成部分,下面通过几个C和Pascal程序示例来展示函数的使用。 1.1 Tan函数 Pascal :Pascal中没有内置的 tan 函数,因此在Pascal Program 5.3中自定义了一个 tan 函数,Test run 5.1展示…

作者头像 李华