autodl 上PaddleOCR-VL 部署(2026年1月22日亲测可用)

会话管理命令（推荐使用 screen 或 tmux 后台运行）
功能 screen 命令 tmux 命令
新建命名会话 screen -S 名字 tmux new -s 名字
列出所有会话 screen -ls tmux ls
重新连接会话 screen -r 名字 tmux attach -t 名字
detach（后台运行） Ctrl+A → D Ctrl+B → D
退出并关闭会话 exit 或 Ctrl+D exit 或 Ctrl+D

conda create -n paddleocr-vlpython=3.11.13# 构建一个虚拟环境，名为：tfconda initbash&&source/root/.bashrc# 更新bashrc中的环境变量conda activate paddleocr-vl

从百度云pipy 安装 pip install paddlepaddle-gpu==3.2.0

pipinstallpaddlepaddle-gpu==3.2.0 -i https://www.paddlepaddle.org.cn/packages/stable/cu126/#wget http://qiniu.dywlkj.com/paddleocr-vl/paddlepaddle_gpu-3.2.0-cp311-cp311-linux_x86_64.whl

推荐操作步骤

1. 下载所有离线包到指定目录
   这个命令会解析 paddleocr[doc-parser] 的所有依赖，并将它们的 .whl 文件下载到 paddle_install_offline_wheels 文件夹中。

Bash

pip download"paddleocr[doc-parser]"\--no-cache-dir\-d ./paddle_install_offline_wheels\-v2>&1|teepaddle_download.log

参数解释：

-d ./paddle_install_offline_wheels: 指定下载目录。如果文件夹不存在，pip 会自动创建。

–no-cache-dir: 强制从网络下载，不使用本地已有的缓存包。

-v: 详细模式，记录每个包的来源和下载过程。

2. (可选) 从该目录进行离线安装
   一旦你下载了所有 .whl 文件，以后在没有网络的环境下，你可以通过以下命令安装：

pipinstall--no-index --find-links=./paddle_install_offline_wheels"paddleocr[doc-parser]"

Install vLLM server dependencies (for production deployment)

torch==2.8.0 pip show torch Name: torch Version:2.8.0 Summary: Tensors and Dynamic neural networksinPython with strong GPU acceleration Home-page: https://pytorch.org/ Author: PyTorch Team Author-email: packages@pytorch.org License: BSD-3-Clause Location: /root/miniconda3/envs/paddleocr-vl/lib/python3.11/site-packages Requires: filelock, fsspec, jinja2, networkx, nvidia-cublas-cu12, nvidia-cuda-cupti-cu12, nvidia-cuda-nvrtc-cu12, nvidia-cuda-runtime-cu12, nvidia-cudnn-cu12, nvidia-cufft-cu12, nvidia-cufile-cu12, nvidia-curand-cu12, nvidia-cusolver-cu12, nvidia-cusparse-cu12, nvidia-cusparselt-cu12, nvidia-nccl-cu12, nvidia-nvjitlink-cu12, nvidia-nvtx-cu12, sympy, triton, typing-extensions Required-by: compressed-tensors, flash_attn, torchaudio, torchvision, vllm, xformers, xgrammarwgethttp://qiniu.dywlkj.com/paddleocr-vl/flash_attn-2.7.3%2Bcu12torch2.8cxx11abiFALSE-cp311-cp311-linux_x86_64.whl pipinstall\./flash_attn-2.7.3+cu12torch2.8cxx11abiFALSE-cp311-cp311-linux_x86_64.whl\--no-deps\--no-build-isolation# Install vLLM server dependencies (for production deployment)paddleocr install_genai_server_deps vllm

python -c"import torch; \ print(f'Torch version: {torch.__version__}'); \ print(f'CUDA available: {torch.cuda.is_available()}'); \ print(f'CUDA version used by Torch: {torch.version.cuda}'); \ print(f'Supported Architectures: {torch.cuda.get_arch_list()}'); \ print(f'Current GPU: {torch.cuda.get_device_name(0) if torch.cuda.is_available() else\"None\"}')"Torch version:2.8.0+cu128 CUDA available: True CUDA version used by Torch:12.8Supported Architectures:['sm_70','sm_75','sm_80','sm_86','sm_90','sm_100','sm_120']Current GPU: NVIDIA GeForce RTX4090

六、安装后立刻验证（必须做）

python-<<'EOF'importflash_attn,torchprint("flash_attn:",flash_attn.__file__)print("torch:",torch.__version__)print("cuda:",torch.version.cuda)print("cuda available:",torch.cuda.is_available())EOF flash_attn:/root/miniconda3/envs/paddleocr-vl/lib/python3.11/site-packages/flash_attn/__init__.py torch:2.8.0+cu128 cuda:12.8cuda available:True

python modelscope_PaddleOCR-VL.py

frommodelscopeimportsnapshot_download MODEL_NAME="PaddlePaddle/PaddleOCR-VL"MODEL_ID="PaddleOCR-VL"SAVE_DIR=f"/root/autodl-tmp/models/{MODEL_ID}"if__name__=="__main__":print(f"正在从 ModelScope 下载模型:{MODEL_NAME}")print(f"保存目录:{SAVE_DIR}")print("-"*50)model_dir=snapshot_download(MODEL_NAME,cache_dir=SAVE_DIR,revision="master",)print("-"*50)print(f"模型下载完成！")print(f"模型路径:{model_dir}")

exportDISABLE_MODEL_SOURCE_CHECK=TrueexportVLLM_USE_PRECOMPILED=1paddlex_genai_server\--model_name PaddleOCR-VL-0.9B\--model_dir /root/autodl-tmp/models/PaddleOCR-VL/PaddlePaddle/PaddleOCR-VL\--backend vllm\--host0.0.0.0\--port8118

核心操作：安装 Serving 依赖
首先，确保 Serving 插件及其依赖已安装（同样建议记录日志）：

Bash

paddlex --install serving -v 2>&1 | tee install_serving.log

paddlex\--get_pipeline_config PaddleOCR-VL\--save_path ./pipelines

执行后你会看到：

pipelines/ └── PaddleOCR-VL.yaml

这一步 不需要联网成功，只要 PaddleX 包本身在。

改成

paddlex --serve\--pipeline ./pipelines/PaddleOCR-VL.yaml\--host0.0.0.0\--port10800\--paddle_model_dir /root/autodl-tmp