https://htn20190109.hatenablog.com/entry/2025/12/27/113501

https://zenn.dev/nakano_teppei/articles/7b7408c30336f1

・オートエンコーダ
エンコーダで入力データを潜在空間にマッピング
 デコーダで潜在空間から元のデータを再編成
再編成誤差の最小化が学習目標

・デノイジングオートエンコーダ
入力データにノイズを加えた状態で学習

・変分オートエンコーダ(VAE)
潜在変数がデータ背後に存在と仮定

$\displaystyle \mathbf{z} \sim q_{\phi}(\mathbf{z}|\mathbf{x}) \quad \text{(Encoder: 推論モデル)}$

$\displaystyle \mathbf{x} \sim p_{\theta}(\mathbf{x}|\mathbf{z}) \quad \text{(Decoder: 生成モデル)}$

対数周辺尤度

$\displaystyle \log p_{\theta}(x^{(i)})= D_{\mathrm{KL}}\left(q_{\phi}(\mathbf{z}|\mathbf{x}^{(i)})\parallel p_{\theta}(\mathbf{z}|\mathbf{x}^{(i)})\right)+\mathcal{L}(\theta, \phi; \mathbf{x}^{(i)})$

ELBO(Evidence Lower Bound)
$\displaystyle \mathcal{L}(\theta, \phi; \mathbf{x}) = \mathbb{E}_{q_{\phi}(\mathbf{z}|\mathbf{x})}\left[ - \log q_{\phi}(\mathbf{z}|\mathbf{x}) + \log p_{\theta}(\mathbf{x} , \mathbf{z})\right]$

KLダイバージェンスの非負性より、対数周辺尤度の最大化 = ELBOの最大化

・再パラメータ化トリック

潜在変数zのサンプリングは微分不可のため逆伝播できない
そのため、標準正規分布に従うノイズ変数で再パラメータ化する

$\displaystyle \mathbf{z} = \boldsymbol{\mu}+ \boldsymbol{\sigma} \odot \boldsymbol{\epsilon}, \quad \boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \mathbf{I})$