ベイズ理論

同時確率、条件付き確率からベイジアンアップデートまで。パラメトリック、ノンパラメトリック(データサイズが増えるにつれて、パラメータ数が対数オーダーで増える)のところは初めてだとたぶんわけわからないところで、ちょっと前で説明してみたけど、若干でしゃばりすぎた気がする。どうするべきかちょっと迷うところではある。難しい。

ベイジアンな考え方は、自分もちゃんと理解するまで3ヶ月はかかったので(パラメータの事前分布ってなんですか!!とか)、今日初めてという人はたぶんわけわからなかったかもなーと(宗教なので、最初は受け入れ難いものなんですよ、きっと)。コインの例のやつは、自分も最初よく分からなかったので、Rで事後分布がupdateされていく様子とかをRで書いたりしていました。

• ベイズの事後分布と事後予測分布を出してみた - Seeking for my unique color.

FSNLPの例は分かりやすい形になってはいたものの「事前分布をなんでこう置くか」というところが本だと結構分かりにくいと思う。共役事前分布みたいな考え方を知っていれば、この事前分布の置き方は極めて自然なんだけどね。あとは、事前分布のパラメータが有効な仮想データ点と解釈できてですねうんぬんとPRMLな説明を入れてみたり。

あと、「統計とかベイズとかでおすすめの本はない?」と聞かれたので、ちょっとだけ紹介。自分は統計に関する一通りのこと(Parametor Estimation付近まで)はこれで勉強しました。証明とかはしょらずに書いてあるので、結構好み。例も多いし。

ただ、英語だと抵抗ある人もいるようで(大学院生なので、英語の本くらい読んで欲しいんだけど)、日本語だとこっちで昔勉強していた。これも割りと丁寧に書いてあったように思う(ただ、Introduction to the Theory of Statisticsと比較すると内容が薄っぺらいので、英語でもそっちを読んで欲しいかなぁ)。Introduction to the Theory of Statisticsのほうはベイズがちょっと書いてあるけど、日本語のほうはベイズについてはほとんど書いてなかったような気がするし、ベイズはベイズで一冊勉強したほうがいいような気もするので、そちら向けで紹介するとこれかな。応用例とかも含めた分かりやすさという点でいくと前者、後者は式展開とか割りと書いてあるので、そういうのが気になる人は後者がおすすめです。

来週がテスト休みで、再来週が自分の担当の情報理論ということでベイズはその間にでも抑えておいてください(笑)。