1. 为什么一跑视频就爆显存？——新手最容易踩的三大坑
第一次把 Comfy UI 从“文生图”切到“文生视频”时，我差点把 RTX 4090 的风扇干冒烟：
- 分辨率刚拉到 512×512，显存直接 22 GB 顶满；
- 生成 2 s 视频，结果帧与帧之间像 PPT 翻页；
- 后台监控一看，CUDA 利用率 100 %，风扇 3800 转，机箱成了无人机。
归根结底，视频生成任务比单张图片多了两个维度：时间轴 + 批量帧。
- 时间一致性（temporal consistency）要求模型在 latent 空间维持跨帧连贯，于是 KV-Cache 暴涨；
- 高分辨率（spatial resolution）下，Unet 的 feature map 宽高各乘 2，显存占用直接 ×4；
- 运动幅度（motion magnitude）越大，DDIM 步数就得越多，否则画面闪烁。
搞清楚这三点，再去选模型、调节点，就能少掉一半头发。
2. 主流模型横向对比：4090 上跑一圈的真实数据
把 Stable Video Diffusion（SVD）、VideoCrafter、ModelScope 三个官方工作流分别跑 10 次，取平均值得出下表，测试环境：
- GPU：RTX 4090 24 GB
- 驱动：535.98
- Comfy UI：commit 2bc4c5e（2024-05）
| 模型 | 最低显存 | 实测 FPS(512×512/16帧) | 最高输出分辨率 | 备注 |
|---|---|---|---|---|
| SVD 1.1 | 10.2 GB | 1.9 fps | 1024×576 | 需开--lowvram 模式 |
| VideoCrafter 2.0 | 8.1 GB | 1.2 fps | 512×512 | 支持镜头缩放 |
| ModelScopeT2V | 6.5 GB | 0.8 fps | 256×256 | 中文文本友好 |
结论：
- 卡只有 12 GB 显存，优先 VideoCrafter；
- 想要 1024 级别清晰度，直接上 SVD，但记得把帧数压到 14 帧以内；
- ModelScope 适合“先出草稿+后续超分”的两段式流水线，单步端到端太慢。
3. 跑通第一条工作流：带中文注释的 JSON 配置
下面这份 workflow 可直接导入 Comfy UI（Load → Load Workflow），生成 2 s、16 帧、512×512 的短视频。关键节点已用中文注释，方便二次修改。
{ "1": { "inputs": { "text": "a drone fly through fireworks at night, cinematic, 4k", "clip_name": "SDXL_CLIP" }, "class_type": "CLIPTextEncode", "_meta": { "title": "正向提示词" } }, "2": { "inputs": { "width": 512, "height": 512, "batch_size": 16 }, "class_type": "EmptyLatentVideo", "_meta": { "title": "空视频潜变量/16帧" } }, "3": { "inputs": { "ckpt_name": "svd_xt_1_1.safetensors", "vae_name": "svd_vae.safetensors", "clip_skip": -2 }, "class_type": "VideoModelLoader", "_meta": { "title": "加载SVD-1.1主模型" } }, "4": { "inputs": { "frames": ["2", 0], "positive": ["1", 0], "negative": ["5", 0], "video_model": ["3", 0], "steps": 25, "cfg": 7.5, "frame_interpolation_strength": 0.75, "motion_bucket_id": 127 }, "class_type": "SVDVideoSampler", "_meta": { "title": "视频采样器/帧插值强度0.75" } }, "5": { "inputs": { "text": "blurry, lowres, watermark", "clip_name": "SDXL_CLIP" }, "class_type": "CLIPTextEncode", "_meta": { "title": "负向提示词" } }, "6": { "inputs": { "samples": ["4", 0], "vae": ["3", 0] }, "class_type": "VAEDecodeVideo", "_meta": { "title": "VAE解码视频" } }, "7": { "inputs": { "filename_prefix": "svd_demo", "fps": 8, "codec": "h264_nvenc" }, "class_type": "SaveVideo", "_meta": { "title": "保存MP4/8fps" } } }把上面保存为svd_512_demo.json，拖进 Comfy UI 就能跑。想改 1024×576，只要把节点 2 的 width/height 换成 1024/576，再把 batch_size 降到 14，显存就能压在 20 GB 以内。
4. 让 4090 再快 30 %：TensorRT 与多卡切分
4.1 TensorRT 加速节点
Comfy UI 官方还没合并 TRT 插件，社区版已可用：
- 安装
ComfyUI-TRT-Video插件 - 在
video_model输出后插一个TRTConvertVideo节点，把 fp16 打开 - 第一次运行会编译引擎，耗时 5-8 min；第二次起，25 step 采样从 48 s 降到 33 s，提速约 31 %
注意：TRT 引擎与分辨率、帧数强绑定，换了尺寸就要重新编译。
4.2 多 GPU 切分推理
当工作室里有两张 3090 24 GB 时，可以用VideoParallelLoader节点：
- 卡 0 负责 0-7 帧，卡 1 负责 8-15 帧
- 在
SVDVideoSampler里把device_index设成["0", "1"] - 记得在
extra_model_config里加"attention_split": true，这样 CrossFrame Attention 会按帧均摊，显存各吃 10 GB，生成时间再砍 40 %
5. 避坑 FAQ：OOM、闪烁、色块一次说清
OOM（显存溢出）
报错allocate 512.00 MiB时，先把batch_size降到 8，再检查是否忘了开--lowvram启动参数；最后把frame_interpolation_strength从 0.75 降到 0.55，可减少跨帧缓存。画面闪烁（flickering）
把motion_bucket_id调到 90 以下，让模型别“乱飞”；同时在SVDVideoSampler后加一个TemporalSmooth节点，blend 系数给 0.4，肉眼可见闪点消失。色块/水印残留
通常 VAE 解码时溢出，换用svd_vae_fix.pt权重，或者在SaveVideo里把colorspace设为bt709，可解决偏色。
6. 把 ControlNet 搬进视频流：下一步玩什么？
工作流跑通后，可以试试ControlNet-Temporal：
- 先用 MiDaS 提取首帧深度图
- 把深度图送入
ControlNetVideoDepth节点，作为条件 - 在
SVDVideoSampler里把controlnet_strength调到 0.6，就能让镜头深度随深度图变化，实现“一镜到底”的 3D 运镜。
这一步做完，你就从“能生成就行”进化到“指哪打哪”的阶段了。
写完这篇笔记，我把自己的 4090 风扇曲线调回默认，声音终于降到日常水平。视频生成在 Comfy UI 里不算黑魔法，选对模型、给对参数、再叠一层 TRT，24 GB 显存也能玩出 1024 级别的短片。剩下的就是多跑多调，把 motion_bucket、frame_interpolation 这些值摸熟，你也能稳定输出不闪不炸的 AI 小视频。祝各位渲染愉快，显存常绿。
