实时检测系统高可用设计：双机热备+Keepalived虚拟IP故障转移方案

实时检测系统高可用设计：双机热备+Keepalived虚拟IP故障转移方案

1. 引言：当实时检测系统遇上“单点故障”

想象一下这个场景：你部署了一套基于DAMO-YOLO的手机检测系统，正在为考场监控提供实时服务。系统运行得很稳定，检测准确率高达88.8%，每张图片处理只需3.83毫秒。突然，服务器宕机了——可能是硬件故障、系统崩溃，或者只是简单的网络波动。监控画面瞬间中断，所有检测服务停止工作。

这就是典型的“单点故障”问题。对于实时检测系统来说，服务中断不仅意味着功能缺失，更可能带来实际损失——考场监控中断可能导致作弊行为无法及时发现，安防系统中断可能错过关键事件。

今天我要分享的，就是如何为你的实时手机检测系统构建一套高可用架构。我们将采用“双机热备+Keepalived虚拟IP”的方案，确保系统在单台服务器故障时，能够自动、无缝地切换到备用服务器，实现真正的7×24小时不间断服务。

2. 为什么需要高可用架构？

2.1 实时检测系统的特殊性

基于DAMO-YOLO和TinyNAS的手机检测系统，虽然以“小、快、省”著称，适配手机端低算力、低功耗场景，但它作为服务端应用时，对可用性有着特殊要求：

• 实时性要求高：检测延迟必须控制在毫秒级，任何服务中断都会导致数据丢失
• 服务连续性关键：监控场景下，每一秒的中断都可能错过重要事件
• 数据一致性重要：用户上传的图片、检测结果需要确保不丢失

2.2 传统单机部署的风险

在单机部署模式下，系统面临多种风险：

2.3 高可用方案的价值

采用双机热备方案后，系统将获得以下优势：

1. 自动故障转移：主服务器故障时，备用服务器在秒级内自动接管服务
2. 零停机维护：可以在不中断服务的情况下进行系统更新和维护
3. 负载均衡潜力：架构为未来扩展为负载均衡集群打下基础
4. 数据冗余保障：重要数据和配置可以在两台服务器间同步

3. 方案设计：双机热备+Keepalived架构详解

3.1 整体架构设计

我们的高可用方案采用经典的“主-备”模式，结合Keepalived实现虚拟IP管理：

┌─────────────────────────────────────────────────────────────┐ │ 虚拟IP: 192.168.1.100 │ │ (用户访问地址) │ ├─────────────────────────────────────────────────────────────┤ │ │ │ ┌─────────────────┐ ┌─────────────────┐ │ │ │ 主服务器 │ │ 备服务器 │ │ │ │ 192.168.1.101 │◄───────►│ 192.168.1.102 │ │ │ │ │ 心跳检测 │ │ │ │ │ Keepalived │ │ Keepalived │ │ │ │ (MASTER状态) │ │ (BACKUP状态) │ │ │ │ │ │ │ │ │ │ 手机检测服务 │ │ 手机检测服务 │ │ │ │ 端口: 7860 │ │ 端口: 7860 │ │ │ └─────────────────┘ └─────────────────┘ │ │ ▲ ▲ │ │ │ │ │ │ └──────────────────────────┘ │ │ Nginx反向代理 │ └─────────────────────────────────────────────────────────────┘

3.2 核心组件说明

Keepalived：虚拟IP管理

• 作用：管理虚拟IP（VIP），在主备服务器间自动切换
• 工作原理：通过VRRP协议进行心跳检测，主服务器故障时，备服务器接管VIP
• 切换时间：通常1-3秒内完成故障转移

Nginx：反向代理

• 作用：将用户请求转发到当前活跃的服务器
• 配置：监听虚拟IP的7860端口，代理到本地服务
• 优势：轻量级、高性能、配置简单

Supervisor：服务管理

• 作用：确保手机检测服务自动启动和监控
• 配置：两台服务器配置相同的supervisor服务
• 监控：自动重启崩溃的服务进程

3.3 故障转移流程

当主服务器发生故障时，系统自动执行以下流程：

1. 主服务器故障（网络中断、服务崩溃等） ↓ 2. Keepalived心跳检测失败（超过设定阈值） ↓ 3. 备服务器检测到主服务器失联 ↓ 4. 备服务器提升为MASTER状态 ↓ 5. 备服务器接管虚拟IP（192.168.1.100） ↓ 6. Nginx将请求转发到新的主服务器 ↓ 7. 用户访问无感知切换（可能短暂延迟）

整个切换过程对用户基本透明，用户仍然通过同一个IP地址（192.168.1.100）访问服务。

4. 实施步骤：从零搭建高可用系统

4.1 环境准备

服务器规划

假设我们有两台服务器：

• 服务器A：192.168.1.101（初始主服务器）
• 服务器B：192.168.1.102（初始备服务器）
• 虚拟IP：192.168.1.100（用户访问地址）

系统要求

两台服务器需要满足：

• 相同的操作系统（建议Ubuntu 20.04+或CentOS 7+）
• 相同的Python环境（3.11+）
• 相同的依赖包版本
• 网络互通，防火墙开放相关端口

4.2 基础服务部署

首先在两台服务器上部署基础手机检测服务：

# 1. 创建项目目录 mkdir -p /opt/phone-detection cd /opt/phone-detection # 2. 克隆或复制项目文件 # （假设已有项目文件，这里展示目录结构） phone-detection/ ├── app.py # 主程序 ├── requirements.txt # 依赖列表 ├── start.sh # 启动脚本 ├── stop.sh # 停止脚本 └── config/ # 配置文件目录 # 3. 安装Python依赖 pip install -r requirements.txt # 4. 测试服务启动 python app.py

4.3 配置Supervisor服务管理

在两台服务器上配置相同的supervisor服务：

# 安装supervisor sudo apt-get install supervisor # Ubuntu/Debian # 或 sudo yum install supervisor # CentOS/RHEL # 创建supervisor配置文件 sudo vi /etc/supervisor/conf.d/phone-detection.conf

配置文件内容：

[program:phone-detection] command=/usr/bin/python /opt/phone-detection/app.py directory=/opt/phone-detection user=root autostart=true autorestart=true startsecs=10 startretries=3 redirect_stderr=true stdout_logfile=/opt/phone-detection/logs/access.log stderr_logfile=/opt/phone-detection/logs/error.log environment=PYTHONUNBUFFERED="1"

启动supervisor服务：

# 重新加载配置 sudo supervisorctl reread sudo supervisorctl update # 启动服务 sudo supervisorctl start phone-detection # 查看状态 sudo supervisorctl status phone-detection

4.4 安装和配置Keepalived

在主服务器（192.168.1.101）上配置：

# 安装Keepalived sudo apt-get install keepalived # Ubuntu/Debian # 或 sudo yum install keepalived # CentOS/RHEL # 创建配置文件 sudo vi /etc/keepalived/keepalived.conf

主服务器配置文件：

! Configuration File for keepalived global_defs { router_id phone_detection_master # 路由器标识，主备不同 } vrrp_script chk_phone_detection { script "/etc/keepalived/check_phone_detection.sh" interval 2 # 检查间隔，单位秒 weight 2 # 权重 fall 2 # 连续失败次数 rise 2 # 连续成功次数 } vrrp_instance VI_1 { state MASTER # 初始状态为MASTER interface eth0 # 网卡名称，根据实际情况修改 virtual_router_id 51 # 虚拟路由ID，主备必须相同 priority 100 # 优先级，主服务器更高 advert_int 1 # 通告间隔，单位秒 authentication { auth_type PASS auth_pass 1111 # 认证密码，主备必须相同 } virtual_ipaddress { 192.168.1.100/24 # 虚拟IP地址 } track_script { chk_phone_detection # 引用健康检查脚本 } notify_master "/etc/keepalived/notify.sh master" notify_backup "/etc/keepalived/notify.sh backup" notify_fault "/etc/keepalived/notify.sh fault" }

创建健康检查脚本：

sudo vi /etc/keepalived/check_phone_detection.sh

脚本内容：

#!/bin/bash # 检查手机检测服务是否运行 if supervisorctl status phone-detection | grep -q "RUNNING"; then # 检查服务端口是否可访问 if curl -s http://localhost:7860 > /dev/null; then exit 0 # 服务正常 else exit 1 # 服务异常 fi else exit 1 # 服务未运行 fi

创建通知脚本：

sudo vi /etc/keepalived/notify.sh

脚本内容：

#!/bin/bash TYPE=$1 NAME=$2 STATE=$3 case $STATE in "MASTER") echo "$(date) - 切换到MASTER状态" >> /var/log/keepalived-notify.log # 可以在这里添加切换到主服务器后的操作 ;; "BACKUP") echo "$(date) - 切换到BACKUP状态" >> /var/log/keepalived-notify.log ;; "FAULT") echo "$(date) - 切换到FAULT状态" >> /var/log/keepalived-notify.log ;; *) echo "$(date) - 未知状态: $STATE" >> /var/log/keepalived-notify.log ;; esac

设置脚本权限：

sudo chmod +x /etc/keepalived/check_phone_detection.sh sudo chmod +x /etc/keepalived/notify.sh

在备服务器（192.168.1.102）上配置：

备服务器的配置与主服务器基本相同，只有几处关键差异：

! Configuration File for keepalived global_defs { router_id phone_detection_backup # 标识改为backup } vrrp_script chk_phone_detection { script "/etc/keepalived/check_phone_detection.sh" interval 2 weight 2 fall 2 rise 2 } vrrp_instance VI_1 { state BACKUP # 初始状态为BACKUP interface eth0 virtual_router_id 51 # 必须与主服务器相同 priority 90 # 优先级低于主服务器 advert_int 1 authentication { auth_type PASS auth_pass 1111 # 必须与主服务器相同 } virtual_ipaddress { 192.168.1.100/24 } track_script { chk_phone_detection } notify_master "/etc/keepalived/notify.sh master" notify_backup "/etc/keepalived/notify.sh backup" notify_fault "/etc/keepalived/notify.sh fault" }

4.5 配置Nginx反向代理

在两台服务器上配置相同的Nginx：

# 安装Nginx sudo apt-get install nginx # Ubuntu/Debian # 或 sudo yum install nginx # CentOS/RHEL # 创建Nginx配置文件 sudo vi /etc/nginx/conf.d/phone-detection.conf

配置文件内容：

server { listen 7860; server_name localhost; location / { proxy_pass http://127.0.0.1:7860; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; # 超时设置 proxy_connect_timeout 60s; proxy_send_timeout 60s; proxy_read_timeout 60s; } # 健康检查端点 location /health { access_log off; return 200 "healthy\n"; add_header Content-Type text/plain; } }

测试Nginx配置并重启：

# 测试配置 sudo nginx -t # 重启Nginx sudo systemctl restart nginx # 设置开机自启 sudo systemctl enable nginx

4.6 启动和测试高可用集群

启动服务顺序：

1. 在两台服务器上启动手机检测服务
2. 在两台服务器上启动Nginx
3. 先启动备服务器的Keepalived
4. 再启动主服务器的Keepalived

# 启动Keepalived sudo systemctl start keepalived sudo systemctl enable keepalived # 查看Keepalived状态 sudo systemctl status keepalived # 查看虚拟IP绑定情况 ip addr show eth0 | grep "192.168.1.100"

测试故障转移：

1. 查看当前主服务器：

# 在任意服务器上执行 ip addr show eth0 | grep "192.168.1.100" # 输出包含192.168.1.100的服务器就是当前主服务器

2. 模拟主服务器故障：

# 在主服务器上停止Keepalived sudo systemctl stop keepalived # 或者在主服务器上停止手机检测服务 sudo supervisorctl stop phone-detection

3. 观察故障转移：

# 在备服务器上查看虚拟IP ip addr show eth0 | grep "192.168.1.100" # 应该能看到虚拟IP已经转移到备服务器 # 查看Keepalived日志 sudo tail -f /var/log/syslog | grep Keepalived

4. 测试服务访问：

# 使用虚拟IP访问服务 curl http://192.168.1.100:7860 # 或者通过浏览器访问

5. 恢复主服务器：

# 在主服务器上恢复服务 sudo supervisorctl start phone-detection sudo systemctl start keepalived # 观察虚拟IP是否切回（根据优先级配置）

5. 监控与维护

5.1 系统监控配置

为了确保高可用系统的稳定运行，需要建立监控体系：

基础监控脚本

创建监控脚本，定期检查系统状态：

#!/bin/bash # /opt/phone-detection/monitor.sh LOG_FILE="/opt/phone-detection/logs/monitor.log" VIP="192.168.1.100" # 记录监控时间 echo "=== $(date) ===" >> $LOG_FILE # 1. 检查虚拟IP if ip addr show eth0 | grep -q $VIP; then echo "虚拟IP状态: 正常 (本机持有VIP)" >> $LOG_FILE else echo "虚拟IP状态: 异常 (本机未持有VIP)" >> $LOG_FILE fi # 2. 检查Keepalived服务 if systemctl is-active --quiet keepalived; then echo "Keepalived状态: 运行中" >> $LOG_FILE else echo "Keepalived状态: 停止" >> $LOG_FILE fi # 3. 检查手机检测服务 if supervisorctl status phone-detection | grep -q "RUNNING"; then echo "检测服务状态: 运行中" >> $LOG_FILE else echo "检测服务状态: 停止" >> $LOG_FILE fi # 4. 检查Nginx服务 if systemctl is-active --quiet nginx; then echo "Nginx状态: 运行中" >> $LOG_FILE else echo "Nginx状态: 停止" >> $LOG_FILE fi # 5. 检查端口监听 if netstat -tln | grep -q ":7860 "; then echo "端口7860: 监听中" >> $LOG_FILE else echo "端口7860: 未监听" >> $LOG_FILE fi echo "" >> $LOG_FILE

设置定时任务：

# 每5分钟执行一次监控 crontab -e # 添加以下行 */5 * * * * /bin/bash /opt/phone-detection/monitor.sh

邮件告警配置

当检测到异常时发送邮件告警：

#!/bin/bash # /opt/phone-detection/alert.sh ALERT_EMAIL="admin@example.com" SUBJECT="手机检测系统告警 - $(hostname)" LOG_FILE="/opt/phone-detection/logs/monitor.log" # 检查最近一次监控记录 LAST_LOG=$(tail -10 $LOG_FILE) # 如果发现异常关键词，发送邮件 if echo "$LAST_LOG" | grep -q "异常\|停止\|未监听"; then echo "系统检测到异常，发送告警邮件..." | mail -s "$SUBJECT" $ALERT_EMAIL fi

5.2 日常维护操作

服务状态检查

# 一键检查所有服务状态 check_status() { echo "=== 系统状态检查 ===" echo "" echo "1. 虚拟IP状态:" if ip addr show eth0 | grep -q "192.168.1.100"; then echo " ✓ 本机持有虚拟IP" else echo " ✗ 本机未持有虚拟IP" fi echo "" echo "2. 服务状态:" echo " Keepalived: $(systemctl is-active keepalived)" echo " Nginx: $(systemctl is-active nginx)" echo " 手机检测: $(supervisorctl status phone-detection | awk '{print $2}')" echo "" echo "3. 端口监听:" netstat -tln | grep ":7860" echo "" echo "4. 最近日志:" tail -5 /opt/phone-detection/logs/monitor.log }

日志管理

# 日志轮转配置 sudo vi /etc/logrotate.d/phone-detection # 添加以下内容 /opt/phone-detection/logs/*.log { daily rotate 30 compress delaycompress missingok notifempty create 644 root root postrotate # 重启服务使日志生效 supervisorctl restart phone-detection > /dev/null 2>&1 || true endscript }

5.3 故障排查指南

常见问题及解决方法

故障排查命令集

# 1. 检查虚拟IP ip addr show eth0 | grep "192.168.1.100" # 2. 检查Keepalived状态 sudo systemctl status keepalived sudo journalctl -u keepalived -f # 3. 检查VRRP通信 sudo tcpdump -i eth0 vrrp -n # 4. 检查服务状态 sudo supervisorctl status phone-detection sudo systemctl status nginx # 5. 检查端口监听 sudo netstat -tlnp | grep :7860 # 6. 检查防火墙 sudo iptables -L -n # CentOS/RHEL sudo ufw status # Ubuntu/Debian # 7. 测试服务连通性 curl -v http://localhost:7860 curl -v http://192.168.1.100:7860

6. 方案优化与扩展

6.1 性能优化建议

健康检查优化

默认的2秒检查间隔可能对系统造成压力，可以根据实际需求调整：

vrrp_script chk_phone_detection { script "/etc/keepalived/check_phone_detection.sh" interval 5 # 调整为5秒，减少检查频率 weight 2 fall 3 # 连续3次失败才认为故障 rise 2 # 连续2次成功才认为恢复 timeout 10 # 脚本执行超时时间 }

Nginx优化配置

# 在Nginx配置中添加优化参数 proxy_buffer_size 128k; proxy_buffers 4 256k; proxy_busy_buffers_size 256k; # 启用连接保持 keepalive_timeout 65; keepalive_requests 100; # 启用gzip压缩 gzip on; gzip_types text/plain text/css application/json application/javascript;

6.2 扩展为多节点集群

如果需要更高的可用性或负载能力，可以将架构扩展为多节点：

三节点架构

虚拟IP: 192.168.1.100 ↓ ┌───────────负载均衡器──────────┐ ↓ ↓ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │ 节点1 │ │ 节点2 │ │ 节点3 │ │ (MASTER) │ │ (BACKUP) │ │ (BACKUP) │ └─────────────┘ └─────────────┘ └─────────────┘

配置示例（三节点Keepalived）：

# 节点1 (priority: 100) vrrp_instance VI_1 { state MASTER priority 100 # ... 其他配置相同 } # 节点2 (priority: 90) vrrp_instance VI_1 { state BACKUP priority 90 # ... 其他配置相同 } # 节点3 (priority: 80) vrrp_instance VI_1 { state BACKUP priority 80 # ... 其他配置相同 }

使用Nginx做负载均衡

upstream phone_detection_cluster { server 192.168.1.101:7860 weight=3; server 192.168.1.102:7860 weight=2; server 192.168.1.103:7860 weight=2; # 健康检查 check interval=3000 rise=2 fall=3 timeout=1000; } server { listen 7860; location / { proxy_pass http://phone_detection_cluster; # ... 其他代理配置 } }

6.3 数据同步方案

对于需要持久化的数据（如用户上传的图片、检测记录等），需要考虑数据同步：

使用rsync定时同步

# 在主服务器上配置rsync服务端 sudo apt-get install rsync sudo vi /etc/rsyncd.conf # 在备服务器上配置同步脚本 #!/bin/bash # /opt/phone-detection/sync_data.sh RSYNC_SOURCE="192.168.1.101::phone_detection_data" LOCAL_DIR="/opt/phone-detection/data" LOG_FILE="/opt/phone-detection/logs/sync.log" rsync -avz --delete $RSYNC_SOURCE $LOCAL_DIR >> $LOG_FILE 2>&1 # 设置定时同步（每5分钟） */5 * * * * /bin/bash /opt/phone-detection/sync_data.sh

使用共享存储

对于更高要求的环境，可以考虑使用NFS或分布式存储：

# 安装NFS服务（在存储服务器上） sudo apt-get install nfs-kernel-server sudo vi /etc/exports # 添加共享目录 /opt/phone-detection/data 192.168.1.0/24(rw,sync,no_subtree_check) # 在应用服务器上挂载 sudo apt-get install nfs-common sudo mount -t nfs 存储服务器IP:/opt/phone-detection/data /opt/phone-detection/data # 设置开机自动挂载 echo "存储服务器IP:/opt/phone-detection/data /opt/phone-detection/data nfs defaults 0 0" >> /etc/fstab

7. 总结

7.1 方案优势回顾

通过实施“双机热备+Keepalived虚拟IP”的高可用方案，我们为实时手机检测系统构建了坚实的可靠性基础：

1. 高可用性：单点故障时自动切换，服务中断时间从小时级降低到秒级
2. 维护便利：可以在不中断服务的情况下进行系统维护和升级
3. 扩展灵活：架构易于扩展为多节点集群，支持负载均衡
4. 成本可控：基于开源软件实现，硬件成本只需增加一台备用服务器
5. 管理简单：配置完成后基本无需人工干预，自动化程度高

7.2 实施要点总结

在实施过程中，有几个关键点需要特别注意：

• 网络配置：确保主备服务器在同一网段，网络延迟低且稳定
• 配置一致性：主备服务器的软件版本、配置文件必须保持一致
• 监控告警：建立完善的监控体系，及时发现和处理问题
• 定期测试：定期进行故障转移测试，确保切换功能正常
• 文档维护：详细记录配置变更和故障处理过程

7.3 后续优化方向

随着业务发展，可以考虑以下优化方向：

1. 容器化部署：使用Docker容器化部署，进一步提升部署效率和一致性
2. 自动化运维：引入Ansible等自动化工具，实现配置管理和批量部署
3. 监控告警集成：与Prometheus、Grafana等监控系统集成，实现可视化监控
4. 多数据中心部署：在多个地理位置部署，实现异地容灾
5. 性能优化：根据实际负载情况，持续优化系统性能和资源利用率

7.4 给技术团队的建议

对于正在考虑或已经实施高可用方案的技术团队，我有几点建议：

1. 从小规模开始：先实现基础的双机热备，再根据需求逐步扩展
2. 重视测试环节：故障转移测试要成为常规运维工作的一部分
3. 建立应急预案：制定详细的故障处理流程和应急预案
4. 持续学习改进：关注新技术发展，不断优化现有架构
5. 文档化一切：所有配置、操作、故障处理都要详细记录

高可用架构不是一劳永逸的解决方案，而是一个持续优化和改进的过程。随着业务规模的增长和技术的发展，需要不断地调整和优化架构设计，才能确保系统始终满足业务需求。

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。