deepseek在2026年1月1日出了一篇文章叫做 mHC: Manifold-Constrained Hyper-Connections，其本质其实就是在2024年字节的另一篇Hyper-Connections的文章上做的一点点算法上的改进和大量工程上的改进，其实只需要知道Hyper-Connections就能明白mHC了
Hyper-Connections
传统的residual connection其实就是在feature经过layer的基础上加上了1份残差连接
Hyper-Connections的思想就是：
1，把输入复制n份，用一个可学习的权重矩阵A_m把这n份向量合到一起，送到原来的layer
2，对于输出的值，把它用一个可学习的分配矩阵B再次分配成n份，保持输入输出一致
对于残差连接部分：
通过一个A_r矩阵，将输入的每个channel按照A_r的可学习的权重来混合其他channel的信息
Hyper-Connections其实就是residual connection的扩展版本，使得residual的连接更为灵活，在输入端可以是input feature的不同倍数，在输出端也可以分配不同的倍数，使得最终的残差连接更为灵活。
Hyper-Connections总览图：
Hyper-Connections在残差连接上提供了更多样化的路径
mHC：Manifold-Constrained Hyper-Connections
mHC其实就是对Hyper-Connections的权重矩阵做了更多的约束，使得训练更稳定，本质上和Hyper-Connections其实一样。
