https://htn20190109.hatenablog.com/entry/2025/12/26/111836

https://qiita.com/shionhonda/items/0fb7f91a150dff604cc5
https://zenn.dev/d2c_mtech_blog/articles/6bd54c0db73a8e
https://bin.t.u-tokyo.ac.jp/rzemi24/file/13-2_nishio.pdf

・識別モデル
データをx, クラスをyとして
$\displaystyle P(y|x)$
を出力する。

・生成モデル
データをx, クラスをyとして
$\displaystyle P(x,y)$
を出力する。
生成モデル手法例
(1)変分オートエンコーダ
(2)敵対的生成ネットワーク
(3)拡散モデル
(4)フローベース生成モデル
(5)スコアベース生成モデル

・拡散モデル
訓練データに対して逐次的にノイズを付与する「拡散過程」を参照し
拡散過程の逆方向を学習して、データを生成する。
拡散モデル手法例
(1) DDPM(Denoising Diffusion Probabilistic Models)

・フローベース生成モデル
連続的かつ可逆な変換によって複雑な分布を形成する。
データと潜在変数間を単一モデルで変換可能。

潜在変数zからデータxを生成する関数をfとする

$\displaystyle \mathbf{x} = f(\mathbf{z}), \quad \mathbf{z} = f^{-1}(\mathbf{x})$

このとき、確率密度関数の変換は次式で表される

$\displaystyle p_{\mathbf{x}}(\mathbf{x}) = p_{\mathbf{z}}(f^{-1}(\mathbf{x})) \left| \det \left( \frac{\partial f^{-1}(\mathbf{x})}{\partial \mathbf{x}} \right) \right|$

フローベース生成モデル手法例
(1) NICE [Dinh+, 2015]
加法カップリングレイヤー(データの一部を固定し、残りの部分を変換)

(2) RealNVP [Dinh+, 2017]
スケーリング付きカップリングレイヤー

(3) Glow [Kingma+, 2018]
Activation Normalization(ActNorm)
1x1畳み込み