ECM DIMD

DIMD：Dual Inter and Intra Prediction Mode with Merge and Derivation
（双模式融合预测：帧间与帧内的联合合并与导出机制）

一、什么是 DIMD？

✅ 定义

DIMD（Dual Inter and Intra Prediction Mode with Merge/Derivation）是一种混合预测模式，允许当前编码单元（CU）同时使用帧间预测（Inter）信号和帧内预测（Intra）信号进行加权组合，生成最终预测值。

其核心思想是：

“不要只选一个 —— 让 Inter 和 Intra 合作！”

通过线性融合两种不同性质的预测结果，更好地适应复杂区域（如纹理边缘 + 运动物体交界），从而提升压缩效率。

✅ 基本原理

对于一个 CU，传统做法是选择以下之一作为预测模式：

• 帧内预测（Intra）
• 帧间预测（Inter / ME）
• 跳过/合并（Skip/Merge）
• 其他特殊模式（如 PLT、IBC 等）

而DIMD 模式允许：
predfinal(x,y)=w1⋅predinter(x,y)+w2⋅predintra(x,y) \text{pred}_{final}(x,y) = w_1 \cdot \text{pred}_{inter}(x,y) + w_2 \cdot \text{pred}_{intra}(x,y)predfinal​(x,y)=w1​⋅predinter​(x,y)+w2​⋅predintra​(x,y)
通常归一化为：
predfinal=w⋅predinter+(64−w)⋅predintra64 \text{pred}_{final} = \frac{w \cdot \text{pred}_{inter} + (64 - w) \cdot \text{pred}_{intra}}{64}predfinal​=64w⋅predinter​+(64−w)⋅predintra​​
权重 $ w \in [0, 64] $ 可自适应调整或从候选集中继承。

二、DIMD 的工作流程（基于 ECM-19.0 设计）

🔹 步骤 1：启用条件

仅当满足以下条件时，才考虑使用 DIMD 模式：

🔹 步骤 2：构建 DIMD 候选列表（Candidate List Construction）

类似于 AMVP 和 Merge 模式，DIMD 构建一个最多包含N 个候选组合的列表，每个候选包含：

• 帧间预测参数（MV, refIdx）
• 帧内预测模式（如 Planar, DC, Angular mode）
• 权重系数 $ w $
• 是否来自历史缓存等标志

候选来源共四类：

⚠️ 注意：所有候选需去重（比较 MV、refIdx、intraMode、w 是否一致）

🔹 步骤 3：排序与截断

按优先级对候选进行重排序：

最终保留最多maxNumDimdCandidates（例如 5 个）进入 RDO 测试。

🔹 步骤 4：RDO 测试与最优选择

对每个候选执行率失真优化（RDO）：

foreach candidate in dimd_candidate_list:pred_inter=generate_inter_prediction(mv,refPic);pred_intra=generate_intra_prediction(intraMode,top/left neighbors);pred_final=(w*pred_inter+(64-w)*pred_intra)>>6;cost=compute_rdo_cost(pred_final,original_block,lambda);

选择成本最低的候选作为当前 CU 的 DIMD 模式参数。

🔹 步骤 5：语法传输

码流中传输：

• 标志位：cu_dimd_flag→ 表示是否使用 DIMD
• 若为真，则发送：dimd_merge_idx（索引到候选列表）
• 若未使用 merge，则显式传输：
  • MV
  • Ref index
  • Intra mode
  • Weight $ w $

解码端按相同规则重建候选列表，确保同步

三、示例说明

🎯 示例场景

假设当前编码块为 16×16 亮度块，位于 P-slice 中，周围有运动物体穿过一块具有明显水平纹理的背景。

🔍 DIMD 候选构建过程（具体步骤）

当前 CU 位置：

+----------------+----------------+ | B0 | B1 | +--------+-------+----------------+ | A0 | Current | | | | +--------+-------------------------+

收集候选：

去重后列表（最大长度设为 5）：

注：虽然 Temporal 和 Derived 都用了 Planar，但 MV 不同 → 视为不同候选

🔎 RDO 测试结果（模拟数据）

→ 最终选择Index=2的历史缓存候选

📦 码流输出

编码器输出如下语法元素：

cu_pred_mode = MODE_DIMD dimd_merge_idx = 2 // 指向历史缓存中的第2个候选

无需再传 MV、intraMode、w —— 解码器自动恢复。

🧠 解码端行为

解码器执行完全相同的 DIMD 候选构建流程（空间 → 时间 → 历史 → 导出），得到同样的列表顺序。

然后根据dimd_merge_idx=2，取出对应参数：

• MV = (1,0)
• RefPicIdx = ?
• IntraMode = DC
• w = 48

接着：

1. 生成帧间预测块
2. 生成帧内预测块（DC 模式）
3. 融合：pred = (48*inter + 16*intra) >> 6
4. 加上残差 → 得到最终重建块

✅ 实现了解码一致性。

四、性能增益与代价分析（来自 JVET 报告）

五、相关提案参考（真实 JVET 文档）

六、总结表

七、未来改进方向