https://paper.hatenadiary.jp/entry/2015/02/15/204744

内容

　統計になれるために基本的なことをメモ、細かい定義とかは省略している可能性大。主要な定理の証明と簡単な演習問題をメモするようにしたい。

参考文献

[1] Introduction to Mathematical Statistics (Seventh Edition) - Robert V. Hogg, Joseph W. McKean,Allen T. Craig
[2] 数理統計ハンドブック朝倉書店　[1]の日本語版

次回

統計のめも2(マルコフ、チェビシェフ、イェンゼンの不等式の証明) - 雑なメモ

確率と分布について

　ボレル集合体、離散と連続の分布、集合論については省略。

確率の基本的な式

law of total probability*1
- ${ P(C) = \sum_i^k P(C_i) P(C|C_i) }$

つまり条件付きのすべてのパターンについて網羅した確率の和は条件ついていない確率と同じ、直感的にも正しい。そしてこれを用いればベイズ則(Bayes’ Theorem*2 )

${ P(C_j|C) = \frac{P(C \cap C_j)}{P(C)} = \frac{P(C \cap C_j)}{\sum_i^j P(C|C_k) P(C_K)} }$

と書き下せる。

独立(independent)

${P(C_1 \cap c_2) = P(C_1) P(C_2) }$
が成り立つとき。

※つまり
${ P(C_1 | C_2 ) = \frac{P(C_1 , C_2 )}{P(C_2)} = \frac{P(C_1) P(C_2)}{P(C_2)} = P(C_1) }$
であるとき、独立という。

確率変数

確率質量関数(確率密度関数)/porb mass function

確率質量関数は確率変数が連続値をとる場合の確率密度関数に相当するもの。

確率, 確率分布関数, 確率密度関数

累積分布関数/cumulative distribution function

${ F_X (x) = P_X ( (-\infty,x ] ) = P(\{c \in C : X(c) \leq x\}) }$
要は確率変数がよりも小さい値をとる確率を与える関数。cdfと略す。確率変数が連続ならば確率密度関数 ${f_X}$ を用いて

${ F_X(x) = \int_{-\infty}^x f_X (t) dt , \ for \ all \ x \in R }$

と書くことができる、離散ならば積分が ${\Sigma_i^x}$ になる。そして定理として

累積分布関数は ${lim_{x \to \infty} F_X (x)= 1}$
累積分布関数は ${lim_{x \to -\infty} F_X (x)= 0}$
累積分布関数は増加関数*3
${lim_{x \to y} F_X (x)= F_X(y)}$ 　(関数が連続な場合)

が成り立つ。

確率変数の変換

確率変数 {X、Y } が存在して { Y = G(X) } と定義されいるとき、確率密度関数は

${ p_Y (y) = P [Y = y] = P[ g(X) = y] = P[ X = g^{-1} (y)] = f_X (g^{-1} (y) ) }$

と書くことができる。累積分布関数は

${ F_Y ( Y \leq y ) = P ( g(X) \leq y ) = F_X (g^{-1} (y) ) }$

と変形できる。これらを一般化して確率変数の変換に関する定理が下記定理a。

定理a:確率変数

があり、

とする。そして

は連続であるとする。 ${f_X,f_Y}$ を確率変数 {X.Y}

の密度関数とするとき

${ f_Y(y) = f_X ( g^{-1} (y) ) |\frac{dx}{dy}| }$

である。

証明：

を単調増加関数と仮定すれば
${ F_Y ( Y \leq y ) = P ( g(X) \leq y ) = F_X (g^{-1} (y) ) }$
なのだから
${ f_Y(y) = \frac{d}{dy} F_Y (y) = \frac{dx}{dy} \frac{d}{dx}(F_X (g^{-1} (y) ) ) = f_X(g^{-1} (y)) \frac{dx}{dy} }$
と書ける。そして単調増加だから ${\frac{dx}{dy} > 0}$ .
　 {g}

を単調減少関数と仮定すれば
${ F_Y ( Y \leq y ) = P ( g(X) \geq y ) = 1 - F_X (g^{-1} (y) ) }$
${ f_Y(y) = \frac{d}{dy} F_Y (y) = \frac{dx}{dy} \frac{d}{dx}(1 - F_X (g^{-1} (y) ) ) =- f_X(g^{-1} (y)) \frac{dx}{dy} }$
と書ける。そして単調減少だから ${\frac{dx}{dy} < 0}$ .