VAE中的编码器（Encoder）详解

VAE中的编码器（Encoder）详解

变分自编码器（Variational Autoencoder, VAE）是一种强大的生成模型，其核心组件之一是编码器（Encoder）。在介绍了重参数化技巧之后，我们可以进一步探讨 VAE 编码器的具体结构和功能。本文将详细讲解 VAE 编码器的工作原理、其数学形式，以及它如何与 ELBO（证据下界）优化目标结合，助力模型训练。

---

VAE编码器的结构

在 VAE 中，编码器的作用是将输入数据 ( $x$ ) 映射到一个潜变量分布 ( $q_{\phi }(z|x)$ )，从而捕捉数据的潜在表示。通常，我们假设 ( $q_{\phi }(z|x)$ ) 是一个高斯分布，其均值 ( $\mu$ ) 和方差 ( ${\sigma }^2$ ) 由神经网络输出。具体的形式为：

$$(\mu ,{\sigma }^2)={\text{EncoderNetwork}}_{\phi }(x)$$
$$q_{\phi }(z|x)=\mathcal{N}(z|{\mu }_{\phi }(x),{\sigma }_{\phi }^2(x)I)$$

这里的 ( ${\text{EncoderNetwork}}_{\phi }(\cdot )$ ) 是一个神经网络，参数化为 ( $\phi$ )。它接受输入 ( $x$ )（例如一张图像），输出高斯分布的参数 ( ${\mu }_{\phi }(x)$ ) 和 ( ${\sigma }_{\phi }^2(x)$ )。为了明确这些参数的依赖关系，我们记：

$$\mu ={\mu }_{\phi }(x),{\sigma }^2={\sigma }_{\phi }^2(x)$$

• ( ${\mu }_{\phi }(x)$ ) 是均值向量，表示潜变量 ( $z$ ) 的期望位置。
• ( ${\sigma }_{\phi }^2(x)I$ ) 是协方差矩阵，这里假设为对角矩阵，即各维度独立，方差由 ( ${\sigma }_{\phi }^2(x)$ ) 决定。

这种表示强调了 ( $\mu$ ) 和 ( ${\sigma }^2$ ) 是 ( $x$ ) 的函数：不同的输入 ( $x$ ) 会产生不同的分布参数，而 ( $\phi$ ) 则是控制神经网络权重和偏差的参数。

生成潜变量 ( $z$ )

给定第 ( $\ell$ ) 个训练样本 ( $x^{(\ell )}$ )，编码器会输出对应的分布参数 ( ${\mu }_{\phi }(x^{(\ell )})$ ) 和 (${\sigma }_{\phi }^2(x^{(\ell )})$ )。潜变量 ( $z^{(\ell )}$ ) 从该分布中采样：

$$z^{(\ell )}\sim \mathcal{N}(z|{\mu }_{\phi }(x^{(\ell )}),{\sigma }_{\phi }^2(x^{(\ell )})I)$$

直接采样高斯分布在神经网络中并不方便，因此我们引入重参数化技巧。

---

重参数化技巧在编码器中的应用

重参数化技巧将高斯采样的随机性分解为确定性部分和独立噪声部分。对于高维高斯分布 ( $z\sim \mathcal{N}(\mu ,{\sigma }^{2}I)$ )，我们可以写为：

$$z=\mu +\sigma \odot ϵ,ϵ\sim \mathcal{N}(0,I)$$

其中 ( $\odot$ ) 表示逐元素相乘，( $ϵ$ ) 是标准正态分布的样本。因此，对于 ( $z^{(\ell )}$ )，我们有：

$$z^{(\ell )}={\mu }_{\phi }(x^{(\ell )})+{\sigma }_{\phi }(x^{(\ell )})\odot ϵ,ϵ\sim \mathcal{N}(0,I)$$

证明：一般协方差矩阵的情况

为了更通用地理解这一变换，我们考虑任意协方差矩阵 ( $\Sigma$ ) 的情况。假设 ( $z\sim \mathcal{N}(\mu ,\Sigma )$ )，可以通过以下方式采样：

$$z=\mu +{\Sigma }^{1/2}ϵ,ϵ\sim \mathcal{N}(0,I)$$

其中 ( ${\Sigma }^{1/2}$ ) 是 ( $\Sigma$ ) 的“平方根”，可以通过特征分解或 Cholesky 分解得到。例如，若 ( $\Sigma =US{U}^T$ )（特征分解），则 ( ${\Sigma }^{1/2}=U{S}^{1/2}{U}^T$ )，( $S$ ) 是对角特征值矩阵。关于特征分解，可以参考笔者的另一篇博客：特征分解（Eigen decomposition）在深度学习中的应用与理解

验证其正确性：

1. 期望：
   $$\mathbb{E}[z]=\mathbb{E}[\mu +{\Sigma }^{1/2}ϵ]=\mu +{\Sigma }^{1/2}\mathbb{E}[ϵ]=\mu$$
   因为 ( $\mathbb{E}[ϵ]=0$ )。

2. 协方差：
   $$\text{Cov}(z)=\mathbb{E}[(z-\mu )(z-\mu {)}^T]=\mathbb{E}[{\Sigma }^{1/2}ϵ({\Sigma }^{1/2}ϵ{)}^T]={\Sigma }^{1/2}\mathbb{E}[ϵ{ϵ}^T]({\Sigma }^{1/2}{)}^T={\Sigma }^{1/2}I({\Sigma }^{1/2}{)}^T=\Sigma$$
   因为 ( $\mathbb{E}[ϵ{ϵ}^T]=I$ )。

当 ( $\Sigma ={\sigma }^{2}I$ ) 时，( ${\Sigma }^{1/2}=\sigma I$ )，退化为：

$$z=\mu +\sigma ϵ$$

这正是 VAE 编码器中使用的形式。

---

编码器与ELBO的关系

VAE 的优化目标是最大化 ELBO，其表达式为：

$$\text{ELBO}(x)={\mathbb{E}}_{q_{\phi }(z|x)}[\log p_{\theta }(x|z)]-D_{KL}(q_{\phi }(z|x)\Vert p(z))$$

其中：

• 第一项是重构项，衡量生成数据的质量。
• 第二项是先验匹配项，使用 KL 散度 ( $D_{KL}(q_{\phi }(z|x)\Vert p(z))$) 约束 ( $q_{\phi }(z|x)$ ) 接近先验分布 ( $p(z)$ )（通常取 ( $p(z)=\mathcal{N}(0,I)$ )）。

计算KL散度

对于两个高斯分布 ( $\mathcal{N}({\mu }_0,{\Sigma }_0)$ ) 和 ( $\mathcal{N}({\mu }_1,{\Sigma }_1)$ )，KL 散度的解析形式为：具体证明过程请参考笔者的另一篇博客：KL散度在高斯分布中的推导详解

$$D_{KL}(\mathcal{N}({\mu }_0,{\Sigma }_0)\Vert \mathcal{N}({\mu }_1,{\Sigma }_1))=\frac{1}{2}\left(\text{Tr}({\Sigma }_1^{-1}{\Sigma }_0)-d+({\mu }_1-{\mu }_0{)}^T{\Sigma }_1^{-1}({\mu }_1-{\mu }_0)+\log \frac{\det {\Sigma }_1}{\det {\Sigma }_0}\right)$$

在 VAE 中：

• ( $q_{\phi }(z|x)=\mathcal{N}({\mu }_{\phi }(x),{\sigma }_{\phi }^2(x)I)$ )，即 ( ${\mu }_0={\mu }_{\phi }(x)$ )，( ${\Sigma }_0={\sigma }_{\phi }^2(x)I$ )。
• ($p(z)=\mathcal{N}(0,I)$ )，即 ( ${\mu }_1=0$ )，( ${\Sigma }_1=I$ )。

代入计算：

1. ( ${\Sigma }_1^{-1}=I^{-1}=I$ )，( $\text{Tr}({\Sigma }_1^{-1}{\Sigma }_0)=\text{Tr}(I\cdot {\sigma }_{\phi }^2(x)I)=\text{Tr}({\sigma }_{\phi }^2(x)I)={\sigma }_{\phi }^2(x)\cdot d$ )（因为迹是标量和）。
2. ( $({\mu }_1-{\mu }_0{)}^T{\Sigma }_1^{-1}({\mu }_1-{\mu }_0)=(0-{\mu }_{\phi }(x){)}^{T}I(0-{\mu }_{\phi }(x))=\Vert {\mu }_{\phi }(x){\Vert }^2$ )。
3. ( $\log \frac{\det {\Sigma }_1}{\det {\Sigma }_0}=\log \frac{\det I}{\det ({\sigma }_{\phi }^2(x)I)}=\log \frac{1}{({\sigma }_{\phi }^2(x){)}^d}=-d\log {\sigma }_{\phi }^2(x)=-2d\log {\sigma }_{\phi }(x)$ )（假设 ( ${\sigma }_{\phi }(x)>0$ )）。
4. ( $-d$ ) 项保持不变。

因此：

$$D_{KL}(q_{\phi }(z|x)\Vert p(z))=\frac{1}{2}\left({\sigma }_{\phi }^2(x)d-d+\Vert {\mu }_{\phi }(x){\Vert }^2-2d\log {\sigma }_{\phi }(x)\right)$$

梯度计算

KL 散度的梯度关于 ( $\phi$ ) 为：

$${\nabla }_{\phi }{D}_{KL}(q_{\phi }(z|x)\Vert p(z))=\frac{1}{2}{\nabla }_{\phi }\left({\sigma }_{\phi }^2(x)d-d+\Vert {\mu }_{\phi }(x){\Vert }^2-2d\log {\sigma }_{\phi }(x)\right)$$

由于 ( ${\mu }_{\phi }(x)$ ) 和 ( ${\sigma }_{\phi }(x)$ ) 是神经网络的输出，梯度没有闭合形式，但可以通过自动微分数值计算。关于 ( $\theta$ ) 的梯度为零，因为 KL 散度不依赖解码器参数 ( $\theta$ )。

---

总结

VAE 的编码器通过神经网络 ( ${\text{EncoderNetwork}}_{\phi }(x)$ ) 输出高斯分布参数 ( ${\mu }_{\phi }(x)$ ) 和 ( ${\sigma }_{\phi }^2(x)$ )，结合重参数化技巧生成潜变量 ( $z$ )。它不仅为后续解码提供了输入，还通过 KL 散度约束潜变量分布与先验的接近性。编码器的设计体现了 VAE 在概率建模与神经网络优化之间的巧妙结合，是理解 VAE 训练过程的关键一环。

希望这篇博客能帮助你深入理解 VAE 编码器！

参考

https://arxiv.org/pdf/2403.18103

后记

2025年3月3日20点00分于上海，在grok 3大模型辅助下完成。