如果有错误还请各位指出。我们都不是搞研究的，咱们不玩复杂公式 (*^_^*)

Contrastive Predictive Coding

首先，Conditional Discrete Contrastive Diffusion 这个方法，要先从 Contrastive Predictive Coding（1807.03748，1905.09272，以下简称CPC）说起。

（ 代表一个高维数据，如文字、图片、声音等， 代表数据对应的标签）的话，CPC 的目的是最大化  与  之间相互信息（Mutual Information）：. 即，相当于最大化 . 

, 其中，.

具体的公式和由来并不是那么的重要，网上由很多相关的文章可以参考，链接放在文章末尾。

, 一个自我回归（Autoregressive）模型 （比如，GRU）, 和一个序列  组成。在每一步  钟，我们利用  的输出  来预测接下来几步的结果 . 对于图像来说，我们可以把图像整体分割为一个个的小方块，这样，整个图像就可以被看成一个序列了。

 来自原始声音，负样本的配对是别的地方的声音。最后，通过 CPC 这么一套流程下来，模型将会更好的区分正负样本，进而，我们得到了一个更好的编码器。

基本设定

接下来，进入到 Conditional Discrete Contrastive Diffusion（2206.07771，以下简称 CDCD）的世界里。

 所对应的离散向量（Discrete Representation）. 

, 然后复原这个 latent . 最后我们通过 VQ 模型的解码器，将 latent  复原成图像 . 

. 如果我们也采用和 CPC 原论文相同的方法，设定一个比值  ，然后去最大化这个比值的话，我们可以导出和 CPC 论文中的形式的 Loss:

 代表了负样本通过 VQ 编码器生成的 latent.

, 我们可以直接去优化 （但依旧保持 Contrastive Learning 的世界观）

与扩散模型的关联

之前写的 DDIM 文章里面，详细地介绍过 DDPM 的目标——最大化变分下界（Evidence Lower Bound），所对应的 Loss 为:

, 所以上面公式里面的  ,  变成了 , . （在这里， 的具体形式并不重要）

随后，论文里面提出了两种扩散机制—— Step-Wise Parallel Diffusion 和 Sample-Wise Auxiliary Diffusion

（论文的附录中有详细的公式推导），但是工作方式有所区别，而上面的示意图已经很直观地表明了——

无论是 Step-wise 还是 Sample-wise，我们都选取 1 个正样本 N 个负样本，

 的同时，"抑制"负样本 . 这些负样本来自于上一步的扩散，即公式中的 ，（这里注意，凡是有上标的都意味着负样本）

对应的 Loss 为：

 的路线， "抑制"到达负样本  的路线，即公式中的 .

对应的 Loss 为：

所以最终的 loss 由变分下界引导出的 loss 和以上的 CDCD loss 两部分组成

（注：论文的附录B4有算法的伪代码，但是个人感觉里面的符号好像有点问题，没有贴出来，想参考的可以去翻看原论文）

Loss 相关的代码可以参考官方 github 源代码 synthesis\modeling\transformers\diffusion_d2m.py 中的 458 行开始（d2m应该是 dance to music 的意思...） 

Intra/Inter Sampling

intra: 在...之内；inter: 在...之间

对于负样本的获取，我们可以有两种不同的办法，一种是利用原始数据本身来制造负样本（Intra），一种是利用别的数据来充当负样本（Inter）

这里，原论文给出的示意图已经直观地说明了两种不同的方式的差异，故不在多提。

所以根据 Step 和 Sample 两种扩散方式以及 Intra 和 Inter 两种采样方式，就有4种不同的组合，这些组合的差异和表现可见原论文第4节，在此也不提了。

一些值得参考的文章

CPC 的原理，非常通俗易懂：https://zhuanlan.zhihu.com/p/137076811

现在扩散模型相关的论文都太多公式了，导致很多内容，都特别难懂 orz…