はじめに

　『トピックモデル』(MLPシリーズ)の勉強会資料のまとめです。各種モデルやアルゴリズムを「数式」と「プログラム」を用いて解説します。
　本の補助として読んでください。

　この記事では、ユニグラムモデルで登場する数式の行間を埋めます。

【前節の内容】

www.anarchive-beta.com

【他の節の内容】

www.anarchive-beta.com

【この節の内容】

2.2 ユニグラムモデルの生成モデルの導出

　ユニグラムモデル(unigram model)の定義(仮定)を確認する。
　文書集合(語彙頻度データ)については「2.1：トピックモデルの文書表現【青トピックモデルのノート】 - からっぽのしょこ」を参照のこと。

生成過程の設定

　まずは、ユニグラムモデルの生成過程(generative process)を数式で確認する。アルゴリズムについては図2.2を参照のこと。

　語彙数を $V$ 、語彙番号(インデックス)を $v \in \{1, 2, \dots, V\}$ とする。

　文書中に語彙 $v$ が生成される(出現する)確率を $\phi_v$ で表す。
　各語彙に対応する $V$ 個(全て)の生成確率まとめて、 $V$ 次元ベクトル $\boldsymbol{\phi}$ で表す。

$\displaystyle \boldsymbol{\phi} = (\phi_1, \phi_2, \cdots, \phi_V)$

　 $\boldsymbol{\phi}$ を単語分布のパラメータと呼び、カテゴリ分布のパラメータとして用いる。(語意的には語彙分布と呼ぶ方が分かりやすいかもしれない。)
　 $\boldsymbol{\phi}$ はカテゴリ分布のパラメータなので、各要素は非負の値であり、総和(全ての語彙に関する和)が1になる条件を満たす必要がある。

$\displaystyle 0 \leq \phi_v \leq 1 ,\ \sum_{v=1}^V \phi_v = 1$

　ある単語 $w_{dn}$ として出現した語彙の生成(出現)確率を $\phi_{w_{dn}}$ と書くこともある。例えば、文書 $1$ の $6$ 番目の単語として語彙 $3$ が観測された(出現した) $w_{1,6} = 3$ のとき、対応するパラメータ(確率)は $\phi_{w_{1,6}} = \phi_3$ である。

　また、単語分布のパラメータ $\boldsymbol{\phi}$ は、 $\boldsymbol{\beta}$ をパラメータとするディリクレ分布に従って生成されると仮定する。

$\displaystyle \boldsymbol{\phi} \sim \mathrm{Dirichlet}(\boldsymbol{\beta})$

　ディリクレ分布の確率変数は、カテゴリ分布のパラメータの条件(非負の値で総和が1になる値)を満たす。
　 $\boldsymbol{\beta}$ は $V$ 次元ベクトルであり、単語分布のハイパーパラメータと呼ぶ。パラメータのパラメータをハイパーパラメータ(超パラメータ)と言う。

$\displaystyle \boldsymbol{\beta} = (\beta_1, \beta_2, \cdots, \beta_V)$

　 $\boldsymbol{\beta}$ はディリクレ分布のパラメータなので、各要素は正の値の条件を満たす必要がある。

$\displaystyle \beta_v \gt 0$

　 $\beta_v$ は $\phi_v$ に影響する。

　各単語 $w_{dn}$ の語彙は、(文書や単語に関わらず) $\boldsymbol{\phi}$ をパラメータとするカテゴリ分布に従って独立に生成されると仮定する。

$\displaystyle w_{dn} \sim \mathrm{Categorical}(\boldsymbol{\phi})$

　トピックモデル(などの各種モデル)では、各単語はカテゴリ分布の確率変数として扱い、単語の語彙(確率変数の実現値)は文脈を考慮せずに $V$ 面の歪んだサイコロを振った出目のように決まる(生成される)とする。

　以上で、ユニグラムモデルの生成過程(定義・仮定)を確認した。生成過程は、変数やパラメータ間の依存関係であり、生成モデルや推論アルゴリズムの導出でも用いる。

スポンサードリンク

記号一覧

　続いて、ユニグラムモデル(2章)で用いる記号類を表にまとめる。

記号	意味	制約・関係性
$D$	文書数
$d \in \{1, 2, \dots, D\}$	文書インデックス
$V$	語彙数(単語の種類数)	$N \geq V$
$v \in \{1, 2, \dots, V\}$	語彙インデックス
$N$	全文書の単語数	$N = \sum_{d=1}^D N_d = \sum_{v=1}^V N_v$
$N_d$	文書 $d$ の単語数	$N_d = \sum_{v=1}^V N_{dv}$
$N_v$	全文書における語彙 $v$ の単語数	$N_v = \sum_{d=1}^D N_{dv}$
$N_{dv}$	文書 $d$ における語彙 $v$ の単語数
$n \in \{1, 2, \dots, N_d\}$	文書 $d$ の単語インデックス
$\mathbf{W} = \{\boldsymbol{w}_1, \cdots, \boldsymbol{w}_d, \cdots, \boldsymbol{w}_D\}$	文書集合
$\boldsymbol{w}_d = \{w_{d1}, \cdots, w_{dn}, \cdots, w_{dN_d}\}$	文書 $d$ の単語集合
$w_{dn} \in \{1, 2, \dots, V \}$	文書 $d$ の $n$ 番目の単語	$w_{dn} \sim \mathrm{Cat(\boldsymbol{\phi})}$
$\boldsymbol{\phi} = (\phi_1, \cdots, \phi_v, \cdots, \phi_V)$	単語分布のパラメータ	$\boldsymbol{\phi} \sim \mathrm{Dir}(\boldsymbol{\beta})$
$\phi_v$	語彙 $v$ の生成確率	$\phi_v \geq 0, \sum_{v=1}^V \phi_v = 1$
$\boldsymbol{\beta} = (\beta_1, \cdots, \beta_v, \cdots, \beta_V)$	単語分布のハイパーパラメータ
$\beta_v$	$\phi_v$ に影響する値	$\beta_v \gt 0$

　ハイパーパラメータ $\boldsymbol{\beta}$ が一様な(全て同じ)値の場合 $\beta = \beta_1 = \cdots = \beta_v$ は、 $V$ 次元ベクトル $\boldsymbol{\beta}$ をスカラ $\beta$ で表す。

　以上の記号を用いて、ユニグラムモデルやその推論アルゴリズムを定義する。

スポンサードリンク

尤度関数の導出

　次は、ユニグラムモデルにおける尤度関数(likelihood function)を数式で確認する。パラメータが与えられたときのデータの生成確率(観測された全ての単語の同時確率)を尤度と呼ぶ。尤度については2.3節、事前分布(事前確率)については2.4節を参照のこと。

尤度の場合

　最尤推定(2.3節)では、事前分布を導入せずに、尤度関数を扱う。

　パラメータ $\boldsymbol{\phi}$ が与えられた(条件とする)ときの観測データ $\mathbf{W}$ の生成確率 $p(\mathbf{W} \mid \boldsymbol{\phi})$ は、生成過程(依存関係)に従い次のように変形できる。

$\displaystyle \begin{aligned} p(\mathbf{W} \mid \boldsymbol{\phi}) &= \prod_{d=1}^D p(\mathbf{w}_d \mid \boldsymbol{\phi}) \\ &= \prod_{d=1}^D \prod_{n=1}^{N_d} p(w_{dn} \mid \boldsymbol{\phi}) \end{aligned}$

途中式の途中式(クリックで展開)

　依存関係のない場合は条件付き独立 $p(A, B \mid C) = p(A \mid C) p(B \mid C)$ により、式を変形していく。

1: $D$ 個の文書は独立(互いに影響せず)に生成されることから、文書集合 $\mathbf{W}$ の生成確率は、各文書 $\mathbf{w}_d$ の生成確率の積に分解できる。

$\displaystyle \begin{aligned} p(\mathbf{W} \mid \boldsymbol{\phi}) &= p(\mathbf{w}_1, \mathbf{w}_2, \cdots, \mathbf{w}_D \mid \boldsymbol{\phi}) \\ &= p(\mathbf{w}_1 \mid \boldsymbol{\phi}) * p(\mathbf{w}_2 \mid \boldsymbol{\phi}) * \cdots * p(\mathbf{w}_D \mid \boldsymbol{\phi}) \\ &= \prod_{d=1}^D p(\mathbf{w}_d \mid \boldsymbol{\phi}) \end{aligned}$

2: 各文書(単語集合)の $N_d$ 個の単語は独立(前後の文脈などを考慮せず)に生成されることから、単語集合 $\mathbf{w}_d$ の生成確率は、各単語 $w_{dn}$ の生成確率の積に分解できる。

$\displaystyle \begin{aligned} p(\mathbf{w}_d \mid \boldsymbol{\phi}) &= p(w_{d1}, w_{d2}, \cdots, w_{dN_d} \mid \boldsymbol{\phi}) \\ &= p(w_{d1} \mid \boldsymbol{\phi}) * p(w_{d2} \mid \boldsymbol{\phi}) * \cdots * p(w_{dN_d} \mid \boldsymbol{\phi}) \\ &= \prod_{n=1}^{N_d} p(w_{dn} \mid \boldsymbol{\phi}) \end{aligned}$

　さらに、確率分布を具体的な式に置き換えて、式を整理する。

$\displaystyle \begin{align} p(\mathbf{W} \mid \boldsymbol{\phi}) &= \prod_{d=1}^D \prod_{n=1}^{N_d} \phi_{w_{dn}} \\ &= \prod_{v=1}^V \phi_v^{N_v} \tag{2.1} \end{align}$

途中式の途中式(クリックで展開)

1: 各単語の語彙 $w_{dn}$ はカテゴリ分布を仮定しているので、 $w_{dn}$ の語彙(インデックス)に関するパラメータが生成確率に対応する。

$\displaystyle p(w_{dn} \mid \boldsymbol{\phi}) = \mathrm{Cat}(w_{dn} \mid \boldsymbol{\phi}) = \phi_{w_{dn}}$

2: 各単語の語彙 $w_{dn} = v$ と全文書での各語彙の出現回数 $N_v$ を用いて、文書番号 $d$ と単語番号 $n$ を用いた式(表現)から、語彙番号 $v$ を用いた式(表現)に変換する。

$\displaystyle \begin{aligned} \prod_{d=1}^D \prod_{n=1}^{N_d} \phi_{w_{dn}} &= \prod_{d=1}^D \underbrace{ \phi_{w_{d1}} * \phi_{w_{d2}} * \cdots * \phi_{w_{dN_d}} }_{N_d} \\ &= \overbrace{ \underbrace{ \phi_{w_{11}} * \cdots * \phi_{w_{1N_1}} }_{N_1^{(d)}} * \underbrace{ \phi_{w_{21}} * \cdots * \phi_{w_{2N_2}} }_{N_2^{(d)}} * \cdots * \underbrace{ \phi_{w_{D1}} * \cdots * \phi_{w_{DN_D}} }_{N_D^{(d)}} }^N \\ &= \overbrace{ \underbrace{ \phi_1 * \cdots * \phi_1 }_{N_1^{(v)}} * \underbrace{ \phi_2 * \cdots * \phi_2 }_{N_2^{(v)}} * \cdots * \underbrace{ \phi_V * \cdots * \phi_V }_{N_V^{(v)}} }^N \\ &= \underbrace{ \phi_1^{N_1} * \phi_2^{N_2} * \cdots * \phi_V^{N_V} }_{V} \\ &= \prod_{v=1}^V \phi_v^{N_v} \end{aligned}$

　添字に具体的な値を入れると $N_d, N_v$ の区別ができなくなるので、 $N_d$ を $N_{d'}^{(d)}\ (d' = 1, \dots, D)$ 、 $N_v$ を $N_{v'}^{(v)}\ (v' = 1, \dots, V)$ としている。
　各単語の語彙 $w_{dn} = v$ に対応する $N$ 個の $\phi_{\cdot}$ を、文書番号 $d$ と単語番号 $n$ の順番に並んだ状態(2行目)から、語彙番号 $v$ の順番に並べ替えて(3行目)、語彙ごとに(同じ語彙が出現した $N_v$ 個の要素を)まとめて(4行目)いる。 $N = \sum_{d=1}^D N_d = \sum_{v=1}^V N_v$ なので、全体の要素数は変わっていない。

　単語は、重複を許す表現であり、同じ語彙でも別の語として扱う。そのため、 $N$ 個(全ての単語)の確率値 $\phi$ の添字が全て異なり、文書ごとに $N_d$ 個の積を $\prod_{n=1}^{N_d} \phi_{dn}$ で表せる。同じ語彙の確率であれば値は同じである。
　一方で語彙は、重複を許さない表現であり、同じ語彙(同じ文字列の語)を同じ語として扱う。そのため、 $N$ 個の確率値 $\phi$ について同じ語彙であれば添字が同じであり、語彙ごとに $N_v$ 個の積を $\phi_v^{N_v}$ で表せる。

　例えば、文書1の1番目と8番目の単語 $w_{1,1}, w_{1,8}$ と文書3の5番目の単語 $w_{3,5}$ が同じ語彙 $w_{1,1} = w_{1,8} = w_{3,5} = 1$ だったとする。これは、1番目の語彙 $v = 1$ が $N_1^{(v)} = 3$ 回出現した言える。このとき、(他の単語は除いた)3単語の生成確率は、次のように表せる

$\displaystyle \begin{aligned} p(w_{1,1}, w_{1,8}, w_{3,5} \mid \boldsymbol{\phi}) &= \phi_{w_{1,1}} * \phi_{w_{1,8}} * \phi_{w_{3,5}} \\ &= \phi_1 * \phi_1 * \phi_1 \\ &= \phi_1^3 \end{aligned}$

　単語分布のパラメータと語彙頻度を用いた式が得られた。

周辺尤度の場合

　ハイパーパラメータ推定(2.7節)では、事前分布を導入して、尤度関数のパラメータを周辺化した周辺尤度関数(marginal likelihood function)として扱う。

　ハイパーパラメータ $\boldsymbol{\beta}$ が与えられた(条件とする)ときのパラメータ $\boldsymbol{\phi}$ を周辺化した観測データ $\mathbf{W}$ の生成確率 $p(\mathbf{W} \mid \boldsymbol{\beta})$ は、生成過程(依存関係)に従い次のように変形できる。

$\displaystyle \begin{aligned} p(\mathbf{W} \mid \boldsymbol{\beta}) &= \int p(\mathbf{W}, \boldsymbol{\phi} \mid \boldsymbol{\beta}) \mathrm{d} \boldsymbol{\phi} \\ &= \int p(\mathbf{W} \mid \boldsymbol{\phi}) p(\boldsymbol{\phi} \mid \boldsymbol{\beta}) \mathrm{d} \boldsymbol{\phi} \\ &= \int \left\{ \prod_{d=1}^D p(\mathbf{w}_d \mid \boldsymbol{\phi}) \right\} p(\boldsymbol{\phi} \mid \boldsymbol{\beta}) \mathrm{d} \boldsymbol{\phi} \\ &= \int \left\{ \prod_{d=1}^D \prod_{n=1}^{N_d} p(w_{dn} \mid \boldsymbol{\phi}) \right\} p(\boldsymbol{\phi} \mid \boldsymbol{\beta}) \mathrm{d} \boldsymbol{\phi} \end{aligned}$

途中式の途中式(クリックで展開)

1: 周辺化された単語分布のパラメータ $\boldsymbol{\phi}$ を明示する。
2: $\mathbf{W}, \boldsymbol{\phi}$ の項に分割する。

$\displaystyle p(\mathbf{W}, \boldsymbol{\phi} \mid \boldsymbol{\beta}) = p(\mathbf{W} \mid \boldsymbol{\phi}) p(\boldsymbol{\phi} \mid \boldsymbol{\beta})$

　詳しくは「生成モデルの導出」で確認する。

3-4: 「尤度の場合」と同様にして、尤度を分解する。

　さらに、確率分布を具体的な式に置き換えて、式を整理する。

$\displaystyle \begin{aligned} p(\mathbf{W} \mid \boldsymbol{\beta}) &= \int \left\{ \prod_{d=1}^D \prod_{n=1}^{N_d} \phi_{w_{dn}} \right\} \frac{ \Gamma(\sum_{v=1}^V \beta_v) }{ \prod_{v=1}^V \Gamma(\beta_v) } \left\{ \prod_{v=1}^V \phi_v^{\beta_v-1} \right\} \mathrm{d} \boldsymbol{\phi} \\ &= \frac{ \Gamma(\sum_{v=1}^V \beta_v) }{ \prod_{v=1}^V \Gamma(\beta_v) } \int \left\{ \prod_{v=1}^V \phi_v^{N_v} \right\} \left\{ \prod_{v=1}^V \phi_v^{\beta_v-1} \right\} \mathrm{d} \boldsymbol{\phi} \\ &= \frac{ \Gamma(\sum_{v=1}^V \beta_v) }{ \prod_{v=1}^V \Gamma(\beta_v) } \int \left\{ \prod_{v=1}^V \phi_v^{N_v} \phi_v^{\beta_v-1} \right\} \mathrm{d} \boldsymbol{\phi} \\ &= \frac{ \Gamma(\sum_{v=1}^V \beta_v) }{ \prod_{v=1}^V \Gamma(\beta_v) } \int \prod_{v=1}^V \phi_v^{N_v + \beta_v-1} \mathrm{d} \boldsymbol{\phi} \\ &= \frac{ \Gamma(\sum_{v=1}^V \beta_v) }{ \prod_{v=1}^V \Gamma(\beta_v) } \frac{ \prod_{v=1}^V \Gamma(N_v + \beta_v) }{ \Gamma(\sum_{v=1}^V \{N_v + \beta_v\}) } \\ &= \frac{ \Gamma(\sum_{v=1}^V \beta_v) }{ \Gamma(N + \sum_{v=1}^V \beta_v) } \prod_{v=1}^V \frac{ \Gamma(N_v + \beta_v) }{ \Gamma(\beta_v) } \end{aligned}$

途中式の途中式(クリックで展開)

1: 各単語の語彙 $w_{dn}$ はカテゴリ分布、単語分布のパラメータはディリクレ分布を仮定しているので、それぞれの定義式に置き替える。

$\displaystyle \begin{aligned} p(w_{dn} \mid \boldsymbol{\phi}) &= \mathrm{Cat}(w_{dn} \mid \boldsymbol{\phi}) = \phi_{w_{dn}} \\ p(\boldsymbol{\phi} \mid \boldsymbol{\beta}) &= \mathrm{Dir}(\boldsymbol{\phi} \mid \boldsymbol{\beta}) = \frac{ \Gamma(\sum_{v=1}^V \beta_v) }{ \prod_{v=1}^V \Gamma(\beta_v) } \prod_{v=1}^V \phi_v^{\beta_v-1} \end{aligned}$

2: $\boldsymbol{\phi}$ と無関係な正規化項を $\int$ の外に出す。
2: 「尤度の場合」と同様にして、 $\phi_{w_{dn}}$ の項を $\phi_v$ の項に変換する。
3: $v$ に関する項の積 $\prod_{v=1}^V$ をまとめる。
4: 指数法則 $x^n x^m = x^{n+m}$ より、 $\phi_v$ の項をまとめる。
6: ディリクレ分布の正規化項(1.2.4項)より、積分全体を正規化項の逆数に置き換える。
7: 分母を入れ替えて $\beta_v, \sum_{v=1}^V \beta_v$ の項をそれぞれまとめる。
7: 各語彙の出現回数 $N_v$ と総単語数 $N$ の関係より、 $N = \sum_{v=1}^V N_v$ である。

　事前分布を導入した場合は、ポリヤ分布の式が得られた。

スポンサードリンク

生成モデルの導出

　続いて、ユニグラムモデルの生成モデル(generative model)を数式で確認する。文書集合やパラメータを全て確率変数とみなした結合分布(同時分布)を生成モデルと呼ぶ。

事前分布を設定しない場合

　先に、事前分布を含めない場合を考える。ただし以降の節では、こちらの式は使わない。

　観測変数 $\mathbf{W}$ とパラメータ $\boldsymbol{\phi}$ をそれぞれ確率変数とする結合分布は、生成過程(依存関係)に従い次のように変形できる。

$\displaystyle \begin{aligned} p(\mathbf{W}, \boldsymbol{\phi}) &= p(\mathbf{W} \mid \boldsymbol{\phi}) p(\boldsymbol{\phi}) \\ &= \left\{ \prod_{d=1}^D p(\mathbf{w}_d \mid \boldsymbol{\phi}) \right\} p(\boldsymbol{\phi}) \\ &= \left\{ \prod_{d=1}^D \prod_{n=1}^{N_d} p(w_{dn} \mid \boldsymbol{\phi}) \right\} p(\boldsymbol{\phi}) \end{aligned}$

途中式の途中式(クリックで展開)

1: 乗法定理 $p(A, B) = p(A \mid B) p(B)$ より、依存関係のある変数とパラメータの項を分割する。
2-3: 「尤度関数の導出」のときと同様にして、尤度を分解する。

　単語レベルに分解した。

事前分布を設定する場合

　最大事後確率推定(2.4節)とベイズ推定(2.5節)では、事前分布を導入する。

　観測変数 $\mathbf{W}$ とパラメータ $\boldsymbol{\phi}$ 、ハイパーパラメータ $\boldsymbol{\beta}$ をそれぞれ確率変数とする結合分布は、生成過程(依存関係)に従い次のように変形できる。

$\displaystyle \begin{aligned} p(\mathbf{W}, \boldsymbol{\phi}, \boldsymbol{\beta}) &= p(\mathbf{W} \mid \boldsymbol{\phi}) p(\boldsymbol{\phi} \mid \boldsymbol{\beta}) p(\boldsymbol{\beta}) \\ &= \left\{ \prod_{d=1}^D p(\mathbf{w}_d \mid \boldsymbol{\phi}) \right\} p(\boldsymbol{\phi} \mid \boldsymbol{\beta}) p(\boldsymbol{\beta}) \\ &= \left\{ \prod_{d=1}^D \prod_{n=1}^{N_d} p(w_{dn} \mid \boldsymbol{\phi}) \right\} p(\boldsymbol{\phi} \mid \boldsymbol{\beta}) p(\boldsymbol{\beta}) \end{aligned}$

途中式の途中式(クリックで展開)

　依存関係のない場合は条件付き独立 $p(A, B \mid C) = p(A \mid C) p(B \mid C)$ 、依存関係のある場合は条件付きの乗法定理 $p(A, B \mid C) = p(A \mid B, C) p(B \mid C)$ により、式を変形していく。

1: 変数やパラメータごとの項に分割する。

　依存関係のある変数・パラメータとハイパーパラメータの項を分割する。

$\displaystyle p(\mathbf{W}, \boldsymbol{\phi}, \boldsymbol{\beta}) = p(\mathbf{W}, \boldsymbol{\phi} \mid \boldsymbol{\beta}) p(\boldsymbol{\beta})$

　さらに前の項の、依存関係のある変数とパラメータの項を分割する。

$\displaystyle \begin{aligned} p(\mathbf{W}, \boldsymbol{\phi} \mid \boldsymbol{\beta}) &= p(\mathbf{W} \mid \boldsymbol{\phi}, \boldsymbol{\beta}) p(\boldsymbol{\phi} \mid \boldsymbol{\beta}) \\ &= p(\mathbf{W} \mid \boldsymbol{\phi}) p(\boldsymbol{\phi} \mid \boldsymbol{\beta}) \end{aligned}$

　 $\mathbf{W}$ と $\boldsymbol{\beta}$ は無関係なので条件から省ける。

2-3: 「尤度関数の導出」のときと同様にして、尤度を分解する。

　この式自体が変数やパラメータ間の依存関係を表している。

スポンサードリンク

グラフィカルモデルの確認

　最後は、ユニグラムモデルの生成モデルをグラフィカルモデル表現(graphical model representation)で確認する。グラフィカルモデルについては4.2節(図4.3)を参照のこと。

事前分布なしの場合

　最尤推定(2.3節)では、こちらのモデルが対応する。

　事前分布を設定しない場合のユニグラムモデルの生成モデルは、次の式に分解できた。

$\displaystyle \begin{aligned} p(\mathbf{W}, \boldsymbol{\phi}) &= p(\mathbf{W} \mid \boldsymbol{\phi}) p(\boldsymbol{\phi}) \\ &= \left\{ \prod_{d=1}^D \prod_{n=1}^{N_d} p(w_{dn} \mid \boldsymbol{\phi}) \right\} p(\boldsymbol{\phi}) \end{aligned}$

　この式をグラフィカルモデルにすると、次の図になる。

　「 $\boldsymbol{\phi} \to w_{dn}$ 」が、単語分布 $p(w_{dn} \mid \boldsymbol{\phi})$ に対応し、単語分布(のパラメータ) $\boldsymbol{\phi}$ に従って各単語(の語彙) $w_{dn}$ が生成されることを示している。

　「 $N_d$ 」のプレートが、 $\prod_{n=1}^{N_d}$ に対応し、 $N_d$ 個の単語 $w_{dn}$ が繰り返し生成されることを示している。
　「 $D$ 」のプレートが、 $\prod_{d=1}^D$ に対応し、 $D$ 個の文書 $\mathbf{w}_d$ が繰り返し生成されることを示している。

事前分布ありの場合

　最大事後確率推定(2.4節)とベイズ推定(2.5節)では、こちらのモデルが対応する。

　事前分布を設定する場合は、次の式になった。

$\displaystyle \begin{aligned} p(\mathbf{W}, \boldsymbol{\phi}, \boldsymbol{\beta}) &= p(\mathbf{W} \mid \boldsymbol{\phi}) p(\boldsymbol{\phi} \mid \boldsymbol{\beta}) p(\boldsymbol{\beta}) \\ &= \left\{ \prod_{d=1}^D \prod_{n=1}^{N_d} p(w_{dn} \mid \boldsymbol{\phi}) \right\} p(\boldsymbol{\phi} \mid \boldsymbol{\beta}) p(\boldsymbol{\beta}) \end{aligned}$

　この式をグラフィカルモデルにすると、次の図になる。

　「 $\boldsymbol{\beta} \to \boldsymbol{\phi}$ 」が、単語分布のパラメータの事前分布 $p(\boldsymbol{\phi} \mid \boldsymbol{\beta})$ に対応し、事前分布(のパラメータ)に従ってパラメータ $\boldsymbol{\phi}$ が生成されることを示している。

　この記事では、ユニグラムモデルで用いる記号や定義を確認した。次の記事では、生成モデルを実装して、各種推論アルゴリズムに用いる人工データを作成する。

参考書籍

作者:岩田具治
講談社

おわりに

2020/07/01：加筆修正の際に「ユニグラムモデルの最尤推定」から記事を分割しました。

　この一連の記事は、勉強会の中で作った資料を1節ずつくらいの目安で転載したものです。なので何となく1章から順番に読まれることを想定していました(というか、数学分からーんってめちゃくちゃ困ってる人(1年ちょっと前の私)がこのブログに流れ付いて攻略本的に使ってもらうイメージでした)。なので例えばこの表記やモデルの説明の節だと、それを使った具体例として次節の最尤法とセットにしてユニグラムモデルの最尤推定というタイトルにしていました。

　しかし(いや当然)、何らかのキーワードで検索に引っかかったその記事だけ読む(あるいは読まない)わけです。となると、次々節のMAP法やその次のベイズ推定の節を読むときにモデルを確認したくなったら、最尤推定の記事の前半だけ読むことになるわけです。これは分かり辛いよなーと分割した次第です。

　あと関係ないですが、箇条書きの数字を2とか3から始めても1からにしちゃうのははてなさんの仕様ですか？何とかする方法はありませんかね？

2024.04.26：加筆修正の際に記事から「トピックモデルの文書表現」を分割しました。

　1つ前の記事(分割した記事)のあとがきに(作業的には数分前に)一歩ずつ段階を踏んで着実に進めましょうと書いたのですが、この記事では筆がノって色々書き足しました。文量がとても増えました。
　面白そうだから事前分布あり版の尤度の数式も見てみよう、とノリで書いたところほぼ同じ式展開を2.7節にてn年前に書いてました。

　あとがきに書くのもアレですが、事前分布の話などは本編で登場した段階で必要な分だけを辞書的に読んでもらい、2章を読み終えた段階で3手法のモデル(事前分布の有り無し)の比較のために読み返してもらい、さらに4章まで読み終わったらモデル(混合化や階層化)の比較のために各モデルの記事(この記事に相当する記事)を読み比べてもらえば分かりやすいだろうという意図で再構成しました。
　他の記事の修正状況は、終わってたり途中だったりメンドそうで飛ばしてたりします。

　数字付きの箇条書きを使うのは諦めて(ダサいけど)数字付き風に書くことにしました。
　現在は表を横スクロールできるようにしようと思ったら、markdown記法と併用できないらしく悩み中です。

【次節の内容】