一、简介：为什么要在瑞芯微上“AI+实时”协同？
国产芯片崛起：RK3568/RK3588 自带 3TOPS/6TOPS NPU，成本 < 国外同级 30%，已批量用于边缘网关、机械臂控制器。
场景痛点：
传统方案“AI推理”与“PLC控制”分属两颗 CPU，通过 CAN/Ethernet 通信 → 延迟 5-15 ms，抖动大。
单颗瑞芯微 SoC 即可跑 Linux + PREEMPT_RT，同时完成“感知-决策-控制”端到端闭环，目标延迟 < 1 ms。
掌握技能价值：
缩短硬件 BOM 成本 20%+
国产化替代标书中“实时+AI”加分项
形成可复用的“AI推理优先级调度”软件 IP
二、核心概念：5 个关键词先搞懂
| 关键词 | 一句话说明 | 本文出现场景 |
|---|---|---|
| PREEMPT_RT | Linux 实时补丁，将自旋锁变互斥锁、线程化中断 | 内核编译打开 CONFIG_PREEMPT_RT=y |
| NPU | 神经网络加速单元，瑞芯微 RK3568 为 0.8 TOPS@INT8 | 使用 RKNN Toolkit2 把 PyTorch → .rknn |
| SCHED_FIFO | 实时调度策略，优先级 1-99，数字越大越先运行 | 把 AI post-process 线程升到 prio=90 |
| cyclictest | 循环测量定时延迟工具 | 验证“AI满载”时控制线程抖动 < 100 μs |
| zero-copy | 推理结果通过共享内存直接给 PLC 任务，避免 memcpy | 使用 mmap + 原子计数器 |
三、环境准备：30 分钟搭好“AI+实时”工作台
1. 硬件
| 模块 | 规格 | 备注 |
|---|---|---|
| 主板 | RK3568 工业板（4×A55 2 GHz） | 需引出 GPIO ×8 用于 PWM/脉冲 |
| 内存 | 4 GB LPDDR4 | 推理缓存 300 MB + RT 控制 100 MB |
| 存储 | 32 GB eMMC | 预留 8 GB 给根文件系统 |
| 摄像头 | MIPI CSI-2 1080P@60fps | 用于视觉抓取定位 |
| 执行器 | 直流电机 + 编码器 1000 线 | 闭环周期 1 kHz |
2. 软件
| 组件 | 版本 | 获取方式 |
|---|---|---|
| 实时内核 | linux-5.10.y-rt25 | 瑞芯微官方 SDK + RT 补丁 |
| RKNN Toolkit2 | 1.4.0 | pip install rknn-toolkit2 |
| 交叉工具链 | gcc-arm-10.2 | 随 SDK 提供 |
| 构建系统 | Yocto 3.1 | 含 meta-rockchip、meta-rt |
3. 一键编译 RT 内核（可复制）
#!/bin/bash # build_rt_kernel.sh set -e SDK=https://github.com/rockchip-linux/kernel.git git clone -b stable-5.10 $SDK --depth=1 cd kernel wget https://mirrors.edge.kernel.org/pub/linux/kernel/projects/rt/5.10/patch-5.10.25-rt25.patch.xz xzcat patch-5.10.25-rt25.patch.xz | patch -p1 make ARCH=arm64 rockchip_defconfig ./scripts/config -e CONFIG_PREEMPT_RT make ARCH=arm64 CROSS_COMPILE=aarch64-linux-gnu- -j$(nproc) Image dtbs输出arch/arm64/boot/Image即为 RT 内核。
四、应用场景：边缘视觉+实时控制 300 字示例
在一条“锂电池极耳焊接”产线，RK3568 控制器通过 MIPI 相机实时采集极耳位置（1920×1080@60fps），NPU 运行轻量化 YOLOv5-n 模型定位焊点中心坐标，推理耗时 6 ms；坐标结果写入共享内存后，实时控制线程（SCHED_FIFO, prio=95）以 1 kHz 频率读取坐标并生成 PWM 脉冲，驱动伺服焊头下压，焊接精度±0.05 mm，端到端闭环延迟<0.9 ms（含图像采集、推理、PID、电机响应）。传统“工控机+GPU”方案延迟 8-12 ms，且需独立 PLC；本方案单 SoC 完成，硬件成本降 35%，功耗降 50%，满足国产化与实时双重需求。
五、实际案例与步骤：从模型到闭环，逐行可跑
5.1 步骤总览
转换模型 → 2. 编译 RT App → 3. 部署到板 → 4. 调度优化 → 5. 延迟测量
5.2 模型转换（PC 端）
# yolov5n.pt → yolov5n.rknn python convert.pyconvert.py（可直接复制）：
from rknn.api import RKNN rknn = RKNN() rknn.config(target_platform='rk3568', batch_size=1) rknn.load_pytorch(model='yolov5n.pt', input_size_list=[[3,640,640]]) rknn.build(do_quantization=True, dataset='./calib') rknn.export_rknn('yolov5n.rknn')5.3 实时推理 + 控制代码（板端）
// rt_ai_control.c #define _GNU_SOURCE #include <pthread.h> #include <sys/mman.h> #include <rknn_api.h> #include <time.h> #define SHARE_SIZE 4096 typedef struct { float x, y; // 像素坐标 _Atomic int new_flag; // 原子标志 } share_t; static share_t *shm; /* AI 线程：SCHED_FIFO 80 */ void *ai_thread(void *arg) { rknn_context ctx; rknn_init(&ctx, "yolov5n.rknn", 0, 0, NULL); while (1) { void *img = capture_camera(); // 6 ms rknn_run(ctx, img, ...); rknn_outputs_get(ctx, &out, 1); shm->x = out.x; shm->y = out.y; atomic_store(&shm->new_flag, 1); } } /* 控制线程：SCHED_FIFO 95 */ void *control_thread(void *arg) { struct sched_param param = { .sched_priority = 95 }; pthread_setschedparam(pthread_self(), SCHED_FIFO, ¶m); while (1) { if (atomic_load(&shm->new_flag)) { float x = shm->x, y = shm->y; atomic_store(&shm->new_flag, 0); pwm_update(pid_calc(x, y)); // 1 kHz } usleep(1000); // 1 ms } }编译：
aarch64-linux-gnu-gcc rt_ai_control.c -o rt_ai_control \ -lrknnrt -lpthread -latomic5.4 调度优化：把 AI 线程绑到非隔离核
# 隔离核 0-1 给控制，核 2-3 给 AI & Linux echo isolcpus=0,1 rcu_nocbs=0-1 > /boot/cmdline.txt taskset -c 2 ./rt_ai_control # AI 在核 25.5 延迟测量：cyclictest 满载测试
# 控制线程满载 1 kHz 同时测抖动 cyclictest -p 95 -m -Sp90 -i200 -d60s > cyclictest.log结果示例：
T: 0 ( 1234) P:95 I:200 C: 300000 Min: 8 Act: 14 Avg: 15 Max: 68
Max=68 μs < 100 μs → 满足实时闭环要求。
六、常见问题与解答（FAQ）
| 问题 | 现象 | 解决 |
|---|---|---|
rknn_init返回 -1 | 模型与 NPU 驱动不匹配 | 确保 RKNN 版本与固件一致，用cat /sys/kernel/debug/rknpu/version查看 |
| cyclictest Max > 200 μs | 未关 C-State/Turbo | BIOS 关闭 EIST、C6，内核加intel_idle.max_state=0 |
| AI 线程抢占控制线程 | 优先级倒挂 | AI 线程用SCHED_FIFO 80，控制用 95，差值≥10 |
| 共享内存读写冲突 | 坐标跳变 | 使用_Atomic+ 双缓冲，或 ring-buffer |
| 内存不足 | OOM killer 杀 AI 进程 | 为 NPU 预留 300 MB，Yocto 里关闭 GPU 相关组件 |
七、实践建议与最佳实践
双缓冲坐标
AI 写 back buffer → 原子切换指针 → 控制读 front buffer，实现零拷贝。NPU 批处理
一次推理 4 帧，降低单帧均摊时间 25%，但需接受 4 ms 额外延迟。CPU 亲和性脚本化
把taskset、chrt写入 systemd 单元，开机即生效，避免手工遗忘。功耗与实时平衡
空闲时echo powersave > /sys/devices/.../scaling_governor，负载>80% 自动切 performance。远程 OTA
使用 OSTree + SWUpdate，升级失败自动回滚，保障产线 7×24 h。文档沉淀
每新增 1 个实时线程，必须在《线程优先级表》登记，防止“优先级碎片化”。
八、总结：一张脑图带走全部要点
瑞芯微 AI + 实时闭环 ├─ 芯片：RK3568 NPU 0.8 TOPS ├─ 内核：PREEMPT_RT + isolcpus ├─ 模型：YOLOv5 → RKNN ├─ 线程：AI@FIFO80 Control@FIFO95 ├─ 通信：_Atomic 共享内存 └─ 验证：cyclictest < 100 μs实时 Linux 不只是“快”，更是“准时”。
当你把 AI 推理与电机控制塞进同一颗国产 SoC，还能把抖动压到 68 微秒，BOM 成本、功耗、体积全部下降——这就是“AI+实时”协同的价值。
立刻打开你的 RK3568 板子，复制本文脚本跑一遍，再把延迟图贴在 README，让下一个面试官看到：你不仅能写算法，更能把它按时送到电机手里！
