https://yamaimo.hatenablog.jp/entry/2021/04/10/220000

前回は確率変数が複数ある場合の確率分布や確率を定義した。

そこから派生する議論を今回からはしていく。

周辺化と周辺確率分布

確率変数 $X, Y, Z$ の同時確率分布 $P\langle X, Y, Z\rangle : X \times Y \times Z \rightarrow \mathbb{R}_{\ge 0}$ に対して、関数 $P\langle X, Y\rangle : X \times Y \rightarrow \mathbb{R}_{\ge 0}$ を次のように定義する：

$P\langle X, Y\rangle(x, y) = P\langle X, Y, 2^Z\rangle (x, y, Z) = \int_{z \in Z} P\langle X, Y, Z\rangle (x, y, z) dz$

つまり、 $z$ に関して積分して元の関数（同時確率分布）から $z$ を取り除いた関数。

命題
$P\langle 2^X, 2^Y\rangle (X, Y) = 1$

証明

$\begin{align} P\langle 2^X, 2^Y\rangle(X, Y) &= \underset{x \in X, y \in Y}{\int\!\int} P\langle X, Y \rangle (x, y) \, dx \, dy \\ &= \underset{x \in X, y \in Y, z \in Z}{\int\!\int\!\int} P\langle X, Y, Z\rangle (x, y, z) \, dx \, dy \, dz \\ &= 1 \end{align}$

よって示された。 $\Box$

この命題から、関数 $P\langle X, Y \rangle$ は確率変数 $X, Y$ に関する同時確率分布になっていることが分かる。（＝記法での不一致は起きていない、ということ）

このように、同時確率分布 $P\langle X, Y, Z\rangle$ から同時確率分布 $P\langle X, Y\rangle$ を得ることを、 $Z$ を周辺化するといい、 $P\langle X, Y, Z\rangle$ に対して $P\langle X, Y\rangle$ を周辺確率分布と呼ぶ。

一つ注意したいのは、この周辺確率分布というのは相対的なものだということ。

たとえば、この $P\langle X, Y\rangle$ に対して同様に $Y$ を周辺化した確率分布 $P\langle X\rangle$ を考えることができるけど、 $P\langle X, Y, Z\rangle$ から見たとき $P\langle X, Y\rangle$ は周辺確率分布になっているのに対し、 $P\langle X\rangle$ から見たとき $P\langle X, Y\rangle$ は周辺確率分布にはなっていない。

複数変数の周辺化 vs 複数回の周辺化

さて、同様にして、同時確率分布 $P\langle X, Y, Z\rangle$ から $Y$ と $Z$ を周辺化した周辺確率分布 $P\langle X\rangle$ も定義できる：

$P\langle X\rangle (x) = P\langle X, 2^Y, 2^Z\rangle (x, Y, Z) = \underset{y \in Y, z \in Z}{\int\!\int} P\langle X, Y, Z\rangle (x, y, z) \, dy \, dz$

また、同時確率分布 $P\langle X, Y, Z\rangle$ から $Z$ を周辺化した周辺確率分布 $P\langle X, Y\rangle$ は同時確率分布でもあるので、さらに $Y$ を周辺化して周辺確率分布 $P\langle X\rangle$ を得ることもできる。

となると、問題となるのは、この2つの確率分布 $P\langle X\rangle$ が一致するのかどうか。

幸いにも、次の命題でこの2つは一致することが示される：

命題
同時確率分布 $P\langle X, Y, Z\rangle$ に対して、 $Y, Z$ を周辺化した確率分布 $P_1\langle X\rangle$ と、 $Z$ を周辺化した $P\langle X, Y\rangle$ に対して $Y$ を周辺化した確率分布 $P_2\langle X\rangle$ は等しい。

証明
まず、

$P_1\langle X\rangle (x) = \underset{y \in Y, z \in Z}{\int\!\int} P\langle X, Y, Z\rangle (x, y, z)\, dy \, dz$

そして、

$P_2\langle X\rangle (x) = \int_{y \in Y} P\langle X, Y \rangle (x, y) dy = \underset{y \in Y, z \in Z}{\int\!\int} P\langle X, Y, Z\rangle (x, y, z) \, dy \, dz$

したがって、 $P_1\langle X\rangle (x) = P_2\langle X\rangle (x)$ 。 $\Box$

図示すると次のようになっている：

f:id:yamaimo0625:20210410215244p:plain

この命題が成り立つので、記法は周辺化のやり方に依存しなくていいとなる。（本当は命題が成り立つ前はちゃんと記法を分けて議論した方がいいんだけど）

ところで、確率変数を2つでしか考えていないと、この問題は出てこない。なので、上の命題をそもそも考えたことがない人が多いはず。確率変数を3つにして考えることで、こういったことも気づける。

今日はここまで！